Введение

Очень часто при подготовке к соревнованиям по пауэрлифтингу или в процессе любительских тренировок полезно (а иногда и необходимо) оценить свои текущие возможности, не делая “проходку”, так как “проходка” оказывает сильное воздействие на нервную систему, её нежелательно делать часто и к ней нужно сначала подготавливаться, затем от неё отдыхать (чтобы суметь мобилизовать больше ресурсов и уменьшить риск травм), что занимает много времени и сил — и всё ради того, чтобы просто узнать, какой именно вес ты способен пожать, присесть или потянуть. Гораздо разумнее было бы оценить эти величины (повторные максимумы, ПМ), основываясь на результатах, которые ты показывал совсем недавно в процессе обычных тренировок. Кроме того, если удастся построить такую модель, способную оценить силу человека, исходя из его последних достижений, можно будет сделать более явной связь между тренировками и реальными результатами, предотвращая перетренированность и временные потери на тренировки по программам, не дающим эффекта.

Итак. Зачем это нужно? Построенная модель поможет:

  1. адекватно оценить свои возможности перед соревнованиями и заказать веса, очень близкие к реальному максимуму; кроме того, знать свой ПМ, не делая проходку, очень важно не только для тех, кто занимается пауэрлифтингом (см. статью);

  2. в период подготовки оценивать скорость своего прогресса (или вообще его наличие), предотвращая перетренированность; сравнивать свои результаты с результатами предыдущих циклов, даже если тогда использовалось другое число повторений;

  3. более обоснованно планировать программу тренировок: пытаясь чередовать разные упражнения и разные диапазоны повторений, легко сделать программу, которая на самом деле не будет давать значимого эффекта или потребует неподъёмных усилий;

  4. обосновать действенность разных методик и выразить различия между ними (этому посвящён последний раздел статьи);

  5. выявить математические закономерности в силовых показателях человека.

К сожалению, многие люди отнеслись к этому исследованию очень скептически, поскольку уверены, что здесь имеется слишком сложная зависимость, чтобы её можно было описывать; другие утвержали, что знание такой информации принесёт больше вреда, чем пользы, если спортсмен не имеет большого опыта или не тренируется с тренером. Во многом они правы, но на самом деле, как я считаю, такое мнение обусловлено достаточно большим количеством разных калькуляторов и формул в Интернете, которые дают разные результаты и не ясно на чём основываются (на каких формулах и откуда полученных). В том числе:

Цель же этой статьи – предоставить формулу, полученную в согласовании с концепциями машинного обучения, которая будет хорошо работать на многих людях, а не на десяти.

О данных и ресурсах

Для сбора наблюдений был создан опрос в Google Forms на русском языке и его англоязычный аналог.

Русскоязычный опрос распространялся через соц. сеть ВКонтакте преимущественно в следующих группах: Пауэрлифтинг | Тяжелая атлетика, Я ♥ ПАУЭРЛИФТИНГ, ПАУЭРЛИФТИНГ И ЖИМ ЛЁЖА 18+, Твой Тренер; аналогично англоязычный опрос распространялся на Facebook преимущественно здесь: Powerlifting Motivation, International Powerlifting League (IPL), Powerlifting Motivation Chat, Powerlifting Memes. Кроме того, несколько наблюдений я собрал лично.

Спустя два месяца от создания опросов данные были выгружены и началась их обработка. Теперь эти данные и всё, связанное с ними (в том числе последняя версия этого документа), хранятся в моём репозитории.

Для обработки данных и создания отчёта использовалась среда RStudio и язык R версии 3.6.3.

Отправная точка

В книге “Система тренировок КУБ” на странице 23 (34 в оригинальной версии) приводится формула для определения повторного максимума: \[предполагаемый\ повторный\ максимум = вес * (1 + 0.0333 * повторения),\] где берётся некоторый рабочий вес и максимально возможное число повторений с ним. В оригинальных обозначениях (которые далее будут использоваться для удобства): \[RM=WEIGHT \cdot (1+0.0333\cdot REPS).\]

Например, если вы можете пожать 100 кг на 5 раз, то из этой формулы следует, что вы сможете пожать 115 на раз и 90 на 9 раз.

К слову, примерно такая модель с некоторыми поправками на диапазон повторений используется на сайте Symmetric Strength. Там максимально возможное количество повторений равно 10.

Лично на мне эта формула хорошо работает и мне захотелось уточнить её для других людей разной комплекции и уровня подготовки. Также интересно то, что здесь имеется, по сути, очень простая линейная модель с двумя предикторами: рабочим весом и взаимодействием рабочего веса с числом повторений, и нет зависимости от самого упражнения, опыта человека и других характеристик, то есть в перспективе возможно с большой точностью описать наши возможности одной простой формулой, и это будет верно почти для всех людей, невзирая на все различия между ними.

Гипотеза и допущения

Сила человека в одном повторении зависит от пяти составляющих:

  1. Количество миофибрилл в мышечном волокне. Чем их больше, тем большую силу может развить волокно.

  2. Запасы АТФ и креатинфосфата и уровень ферментации, поддерживающий быстрое преобразование креатинфосфата в АТФ. Если эти запасы малы, спортсмен не сможет поддерживать максимальное усилие нужные несколько секунд. Сам по себе уровень ферментации можно не учитывать, поскольку после нескольких минут разминки он становится достаточно высоким.

  3. Соотношение красных и белых мышечных волокон в работающей мышце: чем больше белых волокон, тем большую силу способна развить мышца на короткий промежуток времени. Это соотношение является разным для разных мышц и разных людей (определяется генетикой) и, как пока считается, плохо поддаётся коррекции1.

  4. Количество вовлечённых в работу волокон. Чем их больше, тем больше сила мышцы. Количество задействованных волокон зависит от импульса ЦНС и порога действия органов Гольджи: чем сильнее импульс, тем больше волокон может вовлечься в работу, однако импульсы выше некоторого порога подавляются органами Гольджи, чтобы человек не мог сознательно применить силу, способную привести к разрыву сухожилий. Тренировки с субмаксимальными и запредельными весами способны воздействовать как на способность генерировать импульс, так и на порог его подавления.

  5. Естественные рычаги человека и техника выполнения упражнения. У каждого человека есть свои рычаги, дающие ему преимущества в тех или иных типах движений. Кроме того, можно откорректировать технику выполнения упражнения так, что амплитуда движения уменьшится в несколько раз, вдобавок при движении основную работу будут выполнять наиболее сильные пучки мышц.

Подытожив, можно сказать, что сила спортсмена зависит от генетики (в плане соотношения мышечных волокон и т. п.), опыта тренировок (чем больше опыт, тем больше может быть как импульс ЦНС, так и порог его подавления, так и запасы креатинфосфата и т. п.) и конституции (типа телосложения, роста как такового, соотношения роста и функционального веса). Сама техника упражнений учитываться не будет.

Гипотеза исследования состоит в том, что одноповторный максимум можно с небольшими ошибками предсказать через многоповторный при помощи модели вида

\[RM=WEIGHT \cdot (x+y\cdot REPS)+f(WEIGHT,HEIGHT,WEIGHT_{own})+\varepsilon\] с поправками на телосложение, опыт тренировок и диапазон повторений. Здесь \(x, y\) – некоторые числа, \(f\) – функция, которую ещё придётся подобрать, \(\varepsilon\) – ошибка, вносимая неучтёнными факторами. При этом предполагается, что искомая зависимость очень близка к линейной, то есть первое слагаемое вносит основной вклад в сумму; это объясняется тем, что интуитивно ясно логическое заключение: из \(50*6 \approx 60\) (вес 50 на 6 раз примерно значит 60 на раз) должно следовать \(100*6 \approx 120\) с, возможно, небольшими поправками (до 10%) на другие факторы (функция \(f\)). С другой стороны, формула должна быть верна независимо от того, указывается вес в килограммах или фунтах.

Поправка на диапазон повторений имеет следующие соображения. Ввиду физиологии в разных диапазонах повторений проявляются разные мышечные способности, не все из которых тесно связаны с целевыми мышечными качествами – абсолютной силой и мощностью. Почти очевидно, что сила человека в одном повторении хорошо коррелирует с силой в двух-пяти повторениях, но то, поднимет ли человек указанный вес на 12 раз или на 20, зависит от его силовой выносливости, которая не вносит большого вклада при работе на одно повторение. Если не вдаваться в подробности, это объясняется тем, что в малом числе повторений основную роль играют запасы креатинфосфата и АТФ, ферментация, напряжение нервоного импульса, количество задействованных белых волокон и их сечение, а в большом числе повторений (больше 10-15) существенную роль играет тренированность красных волокон и способность мышц быстро утилизировать продукт метаболических реакций.

Согласно Хетфилду, сила развивается исключительно при работе с весами не меньше 80% от ПМ и при этом спортсмены среднего уровня способны выполнить 10-15 повторений с 80% от своего ПМ; то, какой вес человек поднимает на более чем 15 раз, (предположительно) мало говорит о том, какой вес он способен взять на раз.

Кроме того, в статье Вадима Протасенко прослеживается такая идея: разное число повторений требует своего времени на выполнение, а в зависимости от времени работы мышцы включается свой режим энергообмена: примерно через 7 секунд работы запасы креатинфосфата израсходованы больше чем наполовину, алаклатный режим работы (за счёт креатина) завершается через 12 секунд, потом начинается гликолиз (за счёт гликогена), а через 30-60 секунд работы начинается окисление. При этом, если учитывать, что за 30 секунд обычно делается 10 повторений в жиме и 8 в приседе/тяге, можно сделать выводы, что чисто силовые качества проявляют себя (конечно, приблизительно) в первых пяти повторениях, а силовая выносливость заканчивает оказывать влияние на 15-м повторении; всё, что выше 15-20-ти повторений – вообще не имеет отношения к силе2.

Соображения о возможности построения модели

К сожалению, планируемая модель априори не сможет идеально точно предсказывать результаты конкретных спортсменов. Существует также множество причин, почему модель, возможно, не выявит реальные закономерности в генеральной совокупности:

  • Опрос проводился почти полностью в Интернете, точность и честность ответов остаются на совести испытуемых. Быть может, кто-то грубо округлил свои данные или назвал данные, которые нельзя считать идентичными (например, разница между выявлением ПМ и МПМ составляла большой срок, отчего уже нельзя говорить, что исследуемые возможности принадлежат одному и тому же телу) либо не совсем понял целей опроса и назвал заниженные результаты (например, тяжёлый разминочный подход на 3 повторения, когда в действительности возможно сделать 5).

  • Через опрос невозможно выявить, предположительно, такие имеющие большое значение факторы как естественные рычаги, процент жира в организме (процент веса, который условно не имеет вклада в результаты), особенности техники и качества выполнения движений. По этой причине многие люди, которые в рамках опроса имеют идентичные параметры, могут иметь совершенно разные результаты, поскольку при одинаковом росте, весе и возрасте у одного больше функциональной массы, у другого ноги длиннее, один использовал бинты (дающие прибавку 5-15 кг и не считающиеся экипировкой), другой нет, один жал по всем правилам, другой в отбив и т. п.

  • Есть множество факторов, оказывающих большое влияние, трудно измеримых и при этом варьирующихся у одного и того же человека. Например, при одних и тех же мышцах человек может поднять один и тот же вес на 3 или 5 раз в зависимости от уровня креатинфосфата и психологического настроя; при следующей тренировке эти параметры могут быть уже значимо другими, отчего правила, хорошо работавшие недавно, перестанут хорошо работать сейчас.

В то же время имеются доводы в пользу модели:

  • ПМ предсказывается не только на основе роста или веса, но и на основе многоповторного максимума, то есть не многим меньшего веса и числа повторений с ним. Нельзя отрицать, что при каких-то условиях МПМ всё же содержит немалую информацию о ПМ.

  • Существует модель Брендона Лилли, которая приемлемо работает для многих спортсменов. Сам факт наличия такой модели говорит о том, что ПМ можно описать через МПМ в какой-то степени.

Можно долго рассуждать о том, будет работать модель или нет и почему, но для того и проводится исследование, чтобы найти математически обоснованный ответ.

План исследования

Сперва будет произведён разведочных анализ собранных данных с целью выявить в них некоторые закономерности, подтвердить или опровергнуть некоторые простые гипотезы, обнаружить выбросы, принять решение о включении тех или иные факторов в модель.

После этого будет построена серия моделей, среди которых будет выбрана лучшая. По правилам машинного обучения лучшей моделью считается та, что даёт наименьшую ошибку при перекрёстной проверке и (согласно принципу бритвы Оккама) наиболее проста в объяснении.

В конце я опишу возможности применения полученной модели.


Описание выборки и разведочный анализ данных

О прошедших опрос

С помощью опроса было получено всего 174 достоверных наблюдений (исключая явные аномалии), принадлежащие предположительно 157 людям3; они содержатся в файле data(rus).tsv. После некоторых преобразований над переменными каждое наблюдение наблюдение содержит следующую информацию:

  • RM – собственно повторный максимум

  • MRM – многоповторный максимум

  • Count – количество повторений для многоповторного максимума

  • Action – движение для которого верны измерения (Жим, Тяга, Присед)

  • Sex – пол испытуемого

  • Experience – группа опыта (До двух лет, 2-3 года, 4-5 лет, 6-10 лет, больше 10 лет)

  • Age – возраст

  • Weight – собственный вес

  • Height – рост

  • BodyType – тип телосложения (Эктоморф, Мезоморф, Эндоморф). Типы телосложения в целом различаются скоростью обмена веществ и строением скелета, рычагами (хотя различия в строении скелета во многом являются следствием скорости обмена веществ)

  • Mail – электронная почта испытуемых, если указана (эту переменную нужно оставить для некоторых тонкостей)

  • CountGroup – группа по диапазону повторений (2-3, 4-6, 7-10, 11-20, >20)

  • AgeGroup – возрастная группа (<20, 20-27, 28-35, >35)

  • Indexиндекс массы тела

  • IndexGroup – группа по индексу массы тела (выраженный дефицит, дефицит, норма, избыток, ожирение1, ожирение2, ожирение3)

Основные статистики по данным переменным:

##        RM             MRM            Count           Action         Sex     
##  Min.   : 20.0   Min.   : 15.0   Min.   : 2.000   Жим   :124   Мужчина:165  
##  1st Qu.:120.0   1st Qu.:100.0   1st Qu.: 3.000   Тяга  : 26   Женщина:  9  
##  Median :147.5   Median :120.0   Median : 6.000   Присед: 24                
##  Mean   :154.1   Mean   :127.2   Mean   : 8.144                             
##  3rd Qu.:190.0   3rd Qu.:150.0   3rd Qu.:10.000                             
##  Max.   :300.0   Max.   :250.0   Max.   :35.000                             
##                                                                             
##          Experience      Age            Weight           Height     
##  До двух лет  :31   Min.   :15.00   Min.   : 47.00   Min.   :155.0  
##  2-3 года     :31   1st Qu.:21.00   1st Qu.: 78.00   1st Qu.:170.0  
##  4-5 лет      :47   Median :27.00   Median : 87.00   Median :177.0  
##  6-10 лет     :37   Mean   :28.02   Mean   : 89.61   Mean   :176.9  
##  больше 10 лет:28   3rd Qu.:33.00   3rd Qu.:102.75   3rd Qu.:183.0  
##                     Max.   :62.00   Max.   :160.00   Max.   :198.0  
##                                                                     
##      BodyType  CountGroup  AgeGroup      Index                    IndexGroup
##  Эктоморф:36   2-3  :47   <20  :31   Min.   :18.83   выраженный дефицит: 0  
##  Мезоморф:52   4-6  :51   20-27:60   1st Qu.:25.20   дефицит           : 0  
##  Эндоморф:86   7-10 :41   28-35:54   Median :27.77   норма             :37  
##                11-20:23   >35  :29   Mean   :28.47   избыток           :73  
##                >20  :12              3rd Qu.:31.41   ожирение1         :45  
##                                      Max.   :45.27   ожирение2         :13  
##                                                      ожирение3         : 6

Сама таблица data (отсортированная по некоторым столбцам):

Почти все испытуемые – мужчины, поэтому результаты, которые будут получены, не следует обобщать на женщин. Возможно даже, что позднее придётся удалить принадлежащие женщинам наблюдения из выборки, если окажется, что те сильно выделяются.

Среди испытуемый почти половину составляли эндоморфы:

и тест хи-квадрат говорит, что это отличие статистически значимо, то есть среди пауэрлифтеров эндоморфы встречаются чаще эктоморфов или мезоморфов:

## 
##  Chi-squared test for given probabilities
## 
## data:  data.unique %>% filter(Sex == "Мужчина") %>% select(BodyType) %>%     table()
## X-squared = 16.282, df = 2, p-value = 0.0002914

Больше половины наблюдений относятся к жиму лёжа. Я думаю, это связано с тем, что большинство спортсменов предпочитают это упражнение двум другим, вдобавок на жиме лёжа относительно проще замерять МПМ и, скорее всего, многие из ответивших специализировались именно на жиме лёжа.

Распределение по другим факторам:

Распределение по индексу массы тела:

##           IndexGroup
## BodyType   выраженный дефицит дефицит норма избыток ожирение1 ожирение2
##   Эктоморф                  0       0    12      18         3         0
##   Мезоморф                  0       0    19      23         5         1
##   Эндоморф                  0       0     3      26        33         8
##           IndexGroup
## BodyType   ожирение3
##   Эктоморф         0
##   Мезоморф         0
##   Эндоморф         6

Видно, что среди ответивших нет людей с дефицитом веса и немалая часть имеет нормальный вес, немалая – “избыток” (предположительно за счёт мышечной массы), но так называемое “ожирение1” (с большой вероятностью связанное с жировыми отложениями) у эндоморфов встречается чаще, чем в других телосложениях. Это подтверждает тест пропорций:

tb = data.unique %>% mutate(Obees = ifelse(IndexGroup == "ожирение1", "да", "нет")) %>% 
    select(Obees, BodyType) %>% table()

tb %>% t() %>% prop.test()  #для всех
## 
##  3-sample test for equality of proportions without continuity
##  correction
## 
## data:  .
## X-squared = 22.884, df = 2, p-value = 1.073e-05
## alternative hypothesis: two.sided
## sample estimates:
##     prop 1     prop 2     prop 3 
## 0.09090909 0.10416667 0.43421053
data.unique %>% mutate(Obees = ifelse(IndexGroup == "ожирение1", "да", "нет"), Bd = ifelse(BodyType == 
    "Эндоморф", 1, 0)) %>% select(Obees, Bd) %>% table() %>% t() %>% prop.test()  # eсли разделить на эндоморфов и всех остальных
## 
##  2-sample test for equality of proportions with continuity correction
## 
## data:  .
## X-squared = 21.161, df = 1, p-value = 4.223e-06
## alternative hypothesis: two.sided
## 95 percent confidence interval:
##  -0.4771890 -0.1937011
## sample estimates:
##     prop 1     prop 2 
## 0.09876543 0.43421053

Взаимодествия переменных

Иллюстрация некоторых парных взаимодействий:

Корреляции количественных переменных:

Зависимость повторного максимума от индекса массы тела:

Оценка коэффициента простой модели в зависимости от числа повторений:

Из следующего графика может следовать, что начиная с 8-9 повторений зависимость между МПМ и ПМ ослабевает: Либо здесь имеется проблема с данными, так как на 9-м повторении корреляция резко уменьшается:

## Корреляция MRM & RM для каждого повторения:
##  2 repeats  3 repeats  4 repeats  5 repeats  6 repeats  7 repeats  8 repeats 
##  0.9980117  0.9919420  0.9947569  0.9891096  0.9942644  0.9936119  0.9964144 
##  9 repeats 10 repeats 
##  0.9581086  0.9890079

Есть ли разница в этих процентах для разных движений или телосложений? Дисперсионный анализ показывает, что нет (все p-значения больше 0.05):

## p-значения для телосложений:
##  2 repeats  3 repeats  4 repeats  5 repeats  6 repeats  7 repeats  8 repeats 
## 0.94587697 0.89561758 0.99853641 0.34271425 0.72696295 0.82046828 0.62487549 
##  9 repeats 10 repeats 
## 0.25649394 0.08783301
## p-значения для типа движения:
## 2 repeats 3 repeats 4 repeats 5 repeats 6 repeats 
## 0.7730952 0.1384093 0.2794190 0.9919357 0.2637337
## p-значения для групп по индексу массы:
##  2 repeats  3 repeats  4 repeats  5 repeats  6 repeats  7 repeats  8 repeats 
##  0.8959581  0.2062476  0.8345974  0.5228145  0.3154734  0.9085377  0.7177698 
##  9 repeats 10 repeats 
##  0.4490970  0.7676728

Применим тест Стьюдента для определения предсказываемых процентов и доверительных интервалов для них:

df = data %>% mutate(perc = 100 * MRM/RM) %>% filter((Count <= 12 & Count%%2 == 0) | 
    Count == 15 | Count == 20) %>% group_by(factor(Count)) %>% summarise(mean = t.test(perc, 
    conf.level = 0.99)$estimate, down = t.test(perc, conf.level = 0.99)$conf.int[1], 
    up = t.test(perc, conf.level = 0.99)$conf.int[2])
names(df) = c("Число повторений", "Ожидаемый %", "Нижняя граница", "Верхняя граница")
df

В целом эти данные согласуются с тем, что используются National Strength and Conditioning Association (NSCA):

Хотя есть и отличия: вес на 2 повторения скорее равен 94% от максимума, а не 95%, а вес на 12 повторений – это скорее 70% от максимума, а не 67%.

Теперь посмотрим на зависимость повторного максимума от многоповторного:

Очевидно, что здесь будет близкая к линейной зависимость (учитывая высокую корреляцию). Оказывается, если предварительно разбить наблюдения на группы по повторениями, линейность станет намного более выраженной для числа повторений не больше 10 (для большего числа повторений не прослеживается явной линейности либо из-за недостатка данных, либо по физиологическим причинам, озвученным ранее; для диапазона 11-20 возможна квадратичная зависимость):

Сказанное выше значит, что для каждого диапазона повторений нужен отдельный анализ.

Есть ли зависимость между отношением \(\frac{RM}{MRM}\) в зависимости от опыта тренировок и других факторов? Дисперсионный анализ показывает, что в целом нет:

# есть ли значимые различия в разных возрастных группах для фиксированного
# диапазона
cat("p-значения в зависимости от опыта: \n")
## p-значения в зависимости от опыта:
(sapply(levels(data$CountGroup), function(x) aov(RM/MRM ~ Experience, data %>% filter(CountGroup == 
    x)) %>% summary() %$% .[[1]][["Pr(>F)"]][1]))
##       2-3       4-6      7-10     11-20       >20 
## 0.6506219 0.6178563 0.1237067 0.7293524 0.8249503
cat("p-значения в зависимости от возрастной группы: \n")
## p-значения в зависимости от возрастной группы:
(sapply(levels(data$CountGroup), function(x) aov(RM/MRM ~ AgeGroup, data %>% filter(CountGroup == 
    x)) %>% summary() %$% .[[1]][["Pr(>F)"]][1]))
##        2-3        4-6       7-10      11-20        >20 
## 0.76719615 0.69074575 0.84073363 0.03543515 0.59017041
cat("p-значения в зависимости от индекса массы тела: \n")
## p-значения в зависимости от индекса массы тела:
(sapply(levels(data$CountGroup), function(x) aov(RM/MRM ~ IndexGroup, data %>% filter(CountGroup == 
    x)) %>% summary() %$% .[[1]][["Pr(>F)"]][1]))
##        2-3        4-6       7-10      11-20        >20 
## 0.55163027 0.66557317 0.89697945 0.03040709 0.25112986
cat("p-значения в зависимости от типа телосложения: \n")
## p-значения в зависимости от типа телосложения:
(sapply(levels(data$CountGroup), function(x) aov(RM/MRM ~ BodyType, data %>% filter(CountGroup == 
    x)) %>% summary() %$% .[[1]][["Pr(>F)"]][1]))
##       2-3       4-6      7-10     11-20       >20 
## 0.7779869 0.5432097 0.3628399 0.6845562 0.3736225

Единственное: обнаружилась разница в зависимости от возраста и индекса массы тела для диапазона повторений 11-20. Возможно, это связано с тем, что в целом с увеличением возраста увеличивается уровень подготовки, отчего на более чем 10 раз удаётся поднимать больший процент от максимального веса.

Кроме того, возможна разница между самими упражнениями:

cat("p-значения в зависимости от типа телосложения: \n")
## p-значения в зависимости от типа телосложения:
(sapply(levels(data$CountGroup), function(x) aov(RM/MRM ~ Action, data %>% filter(CountGroup == 
    x)) %>% summary() %$% .[[1]][["Pr(>F)"]][1]))
##         2-3         4-6        7-10       11-20         >20 
## 0.063674230 0.275192221 0.006813514 0.763742402 0.108479481
ggplot(data %>% filter(Count <= 20), aes(x = Action, y = RM/MRM)) + geom_boxplot() + 
    facet_grid(vars(CountGroup)) + theme_bw() + labs(x = "Движение") + coord_flip()

Дополнительные закономерности:

Исправление опечаток

Часто при сборе данных возникают ненормальные наблюдения, полученные из-за опечаток или недопониманий. В этот раз таких наблюдей накопилось около 10%. Если поразмыслить над их причинностью, то чаще всего человек забывал поставить цифру “1” перед числом, в результате вместо роста 175 получался рост 75 и т. п.

В то же время могло быть и так, что испытуемый неверно понял суть эксперимента и в анкете описывал просто подход, который был выполнен, а не подход для многоповторного максимума, либо при проходке использовал экипировку или другую технику упражнения, либо, опять же, опечатался; в итоге жим 170х5 оказывался равным 220, хотя ясно, что тут должны стоять 170х5 и 200 либо 170х15 и 220.

С такими выбросами можно сделать только две вещи:

  1. исправить их, опираясь на логику либо переспросить того, кому это наблюдение принадлежит;
  2. удалить из выборки.

В итоге многие данные были исправлены на более вероятный вариант, а явные непонятные аномалии были удалены из выборки. В файле с исходными данными содержатся комментарии, где и что я исправил и почему.

Удалённые данные

Перед построением модели из обучающей выборки заранее были исключены следующие наблюдения:

  • некоторые выбросы, в том числе несколько наблюдений, которые изначально не вписывались в модель и по логике очень сомнительны; речь идёт о наблюдениях типа \(120*3=140\), хотя интуитивно понятно, что 140 – это как минимум 120 на 5; возможно, подход 120 на 3 был сделан в достаточно отдалённый от проходки период либо во время проходки в качестве разминочного, то есть его нельзя считать многоповторным максимумом, эквивалентным повторному максимуму; конечно, здесь может играть роль какой-то особый случай4, который является выбросом (потому должен быть исключён) либо не может быть выявлен по тому набору признаков, которые доступны в нашем случае;

  • наблюдения с числом повторений больше 20, так как сама идея предсказать 1ПМ по, например, 30 ПМ – абсурдна, поскольку здесь имеют место в корне разные нагрузки, задействуются разные типы мышечных волокон и имеет место разный энергетический обмен; по этой причине использование таких данных при создании моделей приводит к искажениям, а для самих этих наблюдений модель предсказывает лишь какую-то нижнюю границу 1ПМ, в чём нет смысла5; вдобавок, для таких предсказаний сложнее определить аномальные наблюдения в смысле предыдущего пункта; кроме того, даже на графиках видно, что диапазон выше 20 очень сильно отличается от остальных диапазонов.

Как итог, теперь для данных верны следующие статистики:

##        RM             MRM          Count           Action         Sex     
##  Min.   : 20.0   Min.   : 15   Min.   : 2.000   Жим   :116   Мужчина:153  
##  1st Qu.:120.0   1st Qu.:100   1st Qu.: 3.000   Тяга  : 22   Женщина:  9  
##  Median :145.0   Median :125   Median : 5.000   Присед: 24                
##  Mean   :152.6   Mean   :129   Mean   : 6.636                             
##  3rd Qu.:190.0   3rd Qu.:150   3rd Qu.: 9.000                             
##  Max.   :300.0   Max.   :250   Max.   :20.000                             
##                                                                           
##          Experience      Age         Weight           Height        BodyType 
##  До двух лет  :31   Min.   :15   Min.   : 47.00   Min.   :155   Эктоморф:34  
##  2-3 года     :28   1st Qu.:21   1st Qu.: 78.00   1st Qu.:170   Мезоморф:46  
##  4-5 лет      :45   Median :27   Median : 87.00   Median :177   Эндоморф:82  
##  6-10 лет     :32   Mean   :28   Mean   : 89.59   Mean   :177                
##  больше 10 лет:26   3rd Qu.:33   3rd Qu.:102.75   3rd Qu.:183                
##                     Max.   :62   Max.   :160.00   Max.   :198                
##                                                                              
##  CountGroup  AgeGroup               IndexGroup
##  2-3  :47   <20  :30   выраженный дефицит: 0  
##  4-6  :51   20-27:55   дефицит           : 0  
##  7-10 :41   28-35:50   норма             :36  
##  11-20:23   >35  :27   избыток           :66  
##  >20  : 0              ожирение1         :42  
##                        ожирение2         :12  
##                        ожирение3         : 6

Подведение итогов, отбор признаков

Перечислим основные идеи об особенностях данных, сказанные ранее:

  • Любые полученные результаты следует обобщать на женщин, так как в опросе они почти не участвовали. Возможно, ради точности вычислений даже придётся убрать женщин из выборки;

  • Эндоморфы среди пауэрлифтеров встречаются чаще мезоморфов или эктоморфов. При этом у эндоморфов значимо чаще встречается “ожирение первой стадии”, чем у представителей других телосложений;

  • Результаты в приседе и тяге растут с увеличением индекса массы тела лишь до некоторого порога. Увеличение индекса массы тела выше “ожирения первой стадии” не будет полезным;

  • Сильная корреляция между индексом массы тела и повторным максимумом наблюдается у мезофорфов – в жиме, у эктоморфов – в тяге, у эндоморфов – в приседе;

  • Не обнаружено значимой разницы значений \(\frac{MRM}{RM}\) для разных телосложений, движений, групп по индексу массы, опыта, возраста для любого конкретного числа повторений или диапазона повторений (но при этом обнаружилась разница между движениями для диапазонов повторений до 10); процентовки от National Strength and Conditioning Association (NSCA) с небольшими погрешностями верны для всех спортсменов и всех движений;

  • Разбиение наблюдений на группы по диапазону повторений (который сделан согласовано с физиологическими соображениями) должно значительно повысить точность модели, причем для числа повторений до 10-20 эта модель крайне близка к линейной;

  • Наблюдения свыше 20 повторений не будут учитываться, так как их мало, вдобавок этот диапазон слабо коррелирует с абсолютной силой;

  • При более чем 10 повторений опытные спортсмены способны поднимать более близкие к максимальным веса, чем неопытные.

Соображения о предикторах для модели:

  • \(RM\) (повторный максимум) обязательно зависит как от \(MRM\) (многоповторный максимум) и \(Count\) (числа повторений), так и от \(CountGroup\) – группы по числу повторений;

  • \(RM\) может зависеть также от \(BodyType\) (типа телосложения) и \(Action\) (упражнения) либо от их бинарных модификаций (например, если людей разделить не на 3 телосложения, а на эндоморфов и нет); возможно, стоит также попробовать учесть индекс массы тела или собственно вес, имеющие корреляцию с \(RM\) не меньше 0.5.

Дальнейшие действия:

  1. Просмотреть, как работает модель Лилли, и на её примере ознакомиться с шаблоном по оценке качества, который будет использоваться для оценки следующих моделей.

  2. Построить разные модели для оценки конкретно \(RM\) и выбрать ту, которая более проста и даёт меньшую ошибку кросвалидации.

  3. Аналогично построить модели для \(\frac{MRM}{RM}\) и выбрать лучшую.

  4. Сравнить две выбранные модели и определить лучшую из них.


Построение моделей

Вычислительные возможности позволяют создать огромное количество моделей. Цель исследователя – предложить несколько вариантов и выбрать среди них лучший. Кроме этого, нужно посмотреть, как работает модель на разных группах данных, чтобы обнаружить выбросы или обнаружить, что на такой-то группе модель вообще не может работать, из-за чего такую группу придётся исключить.

Итак, в модели представляют интерес следующие показатели:

Недостатки исходного решения

Применив формулу \(RM=MRM \cdot(1+0.0333 \cdot Count)\) ко всем наблюдениям, получим оценки \(RM\) (Fact), которые будут отличаться от истинного \(RM\) (Target). Разница между этими величинами – остатки. Для модели Лилли остаки будут следующие:

## [1] 0

Здесь такая логика: чем лучше модель, тем “ящики” тоньше и тем их середины ближе к 0.

В данном случае видно, что модель Лилли хорошо работает почти на всех данных из диапазона 2-3 и на немалой части данных из диапазона 4-6. Для большего числа повторений модель даёт завышенные оценки.

Если посмотреть на численные ошибки

## # A tibble: 144 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   283    230  53.2         23.1   170    20 Тяга   Мужч~     82 11-20     
##  2   333    290  43.2         14.9   200    20 Тяга   Мужч~    107 11-20     
##  3   200    160  39.9         24.9   120    20 Жим    Мужч~    115 11-20     
##  4   255    220  34.9         15.9   170    15 Присед Мужч~     90 11-20     
##  5   240    205  34.9         17.0   150    18 Жим    Мужч~    110 11-20     
##  6   262    230  32.4         14.1   175    15 Присед Мужч~     92 11-20     
##  7   180    150  29.9         20.0   120    15 Жим    Мужч~     87 11-20     
##  8   154    130  24.0         18.4   110    12 Присед Мужч~     80 11-20     
##  9   157    135  21.6         16.0   100    17 Жим    Мужч~     75 11-20     
## 10   210    190  19.9         10.5   150    12 Жим    Мужч~    105 11-20     
## # ... with 134 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 53.22 
## ------------> Наибольшая ошибка в меньшую сторону: 17.018 
## Модель ошиблась более чем на 5 % в 48 случаях из 162 ( 29.62963 %)
## Модель ошиблась более чем на 5 кг в 69 случаях из 162 ( 42.59259 %)
## ----------------> Статистика по ошибкам в процентах:
##      Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
##  0.009091  1.466058  2.895000  4.466610  6.231771 24.950000 
## -------------------> Среднеквадратичная ошибка: 10.79902

увидим, что модель заметно ошибается в 70% случаев и в среднем на почти 5%. Первые формулы Мориса и Райдина показывают худший результат:

## # A tibble: 140 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   214   160   54.5         34.1  120     20 Жим    Мужч~    115 11-20     
##  2   252   205   47.2         23.0  150     18 Жим    Мужч~    110 11-20     
##  3   245   285   40.3         14.1  220      8 Присед Мужч~     90 7-10      
##  4   172   210   38.1         18.1  150     10 Присед Мужч~    100 7-10      
##  5   185   220   34.6         15.7  150     15 Присед Мужч~    100 11-20     
##  6   184   150   34.1         22.7  120     15 Жим    Мужч~     87 11-20     
##  7   209   242.  33.1         13.6  180     11 Тяга   Мужч~     78 11-20     
##  8   194   225   30.7         13.7  180      6 Тяга   Мужч~     90 4-6       
##  9   270   300   30.2         10.1  250      6 Присед Мужч~    117 4-6       
## 10   180   210   29.9         14.2  152.    12 Тяга   Мужч~     85 11-20     
## # ... with 130 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 54.49607 
## ------------> Наибольшая ошибка в меньшую сторону: 40.32727 
## Модель ошиблась более чем на 5 % в 71 случаях из 162 ( 43.82716 %)
## Модель ошиблась более чем на 5 кг в 92 случаях из 162 ( 56.79012 %)
## ----------------> Статистика по ошибкам в процентах:
##     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
##  0.03358  1.89439  4.28278  5.81013  8.61114 34.06004 
## -------------------> Среднеквадратичная ошибка: 13.73176

На самом деле это две формулы вида

\[\log \left(\frac{RM}{MRM}\right)= a+b \cdot Count,\]

где \(a,b\) зависят от того, к какой части тела относится упражнение. Сама идея сделать логарифмическое преобразование используется нередко, но здесь это имеет негативный эффект: \(R^2\) равен далеко не 0.99, как сказано на сайте:

## 
## Call:
## lm(formula = log(RM/MRM) ~ Action2 + Count:Action2, data = data)
## 
## Residuals:
##       Min        1Q    Median        3Q       Max 
## -0.119692 -0.029770  0.000735  0.026167  0.125513 
## 
## Coefficients:
##                    Estimate Std. Error t value Pr(>|t|)    
## (Intercept)        0.064723   0.011619   5.570 1.07e-07 ***
## Action2Up         -0.021852   0.013946  -1.567    0.119    
## Action2Down:Count  0.017015   0.001341  12.687  < 2e-16 ***
## Action2Up:Count    0.018225   0.001013  17.994  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.04448 on 158 degrees of freedom
## Multiple R-squared:  0.7585, Adjusted R-squared:  0.7539 
## F-statistic: 165.4 on 3 and 158 DF,  p-value: < 2.2e-16

Скорее всего, формулы Мориса и Райдина подгонялись на маленькой выборке или на выборке, в которой почти все данные принадлежали нескольким людям.

Уточнение коэффициентов

Теперь возьмём модель вида \(RM=MRM \cdot(a+b \cdot Count)\) и подберём коэффициенты \(a,b\) лучшим образом. В итоге:

## # A tibble: 141 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   189    210  21.5        10.2    150    10 Присед Мужч~    100 7-10      
##  2   249    230  19.3         8.41   170    20 Тяга   Мужч~     82 11-20     
##  3   267    285  17.7         6.22   220     8 Присед Мужч~     90 7-10      
##  4   176    160  16.0        10.0    120    20 Жим    Мужч~    115 11-20     
##  5   204    220  15.7         7.15   150    15 Присед Мужч~    100 11-20     
##  6   100    115  15.3        13.3     70    18 Жим    Мужч~     70 11-20     
##  7   200    215  15.2         7.07   180     3 Присед Мужч~     84 2-3       
##  8   211    225  13.9         6.16   180     6 Тяга   Мужч~     90 4-6       
##  9   163    150  13.4         8.94   120    15 Жим    Мужч~     87 11-20     
## 10   143    130  12.9         9.90   110    12 Присед Мужч~     80 11-20     
## # ... with 131 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 19.33226 
## ------------> Наибольшая ошибка в меньшую сторону: 21.46997 
## Модель ошиблась более чем на 5 % в 39 случаях из 162 ( 24.07407 %)
## Модель ошиблась более чем на 5 кг в 66 случаях из 162 ( 40.74074 %)
## ----------------> Статистика по ошибкам в процентах:
##      Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
##  0.001034  1.344302  3.072494  3.463881  4.816583 13.279030 
## -------------------> Среднеквадратичная ошибка: 6.656834 
## Оценка кросс-валидации для всего набора данных 46.09146 
## Оценка кросс-валидации для не более чем 10 повторений 32.12605 
## Оценка кросс-валидации для не более чем 6 повторений 29.41506

## -----> ОБЩАЯ ИНФОРМАЦИЯ О МОДЕЛИ:
## 
## 
## Call:
## lm(formula = RM ~ MRM + MRM:Count - 1, data = data)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -19.3323  -4.3200  -0.4872   3.9362  21.4700 
## 
## Coefficients:
##            Estimate Std. Error t value Pr(>|t|)    
## MRM       1.0470734  0.0067757  154.53   <2e-16 ***
## MRM:Count 0.0209793  0.0008774   23.91   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 6.698 on 160 degrees of freedom
## Multiple R-squared:  0.9983, Adjusted R-squared:  0.9983 
## F-statistic: 4.664e+04 on 2 and 160 DF,  p-value: < 2.2e-16
## 
## 
## ASSESSMENT OF THE LINEAR MODEL ASSUMPTIONS
## USING THE GLOBAL TEST ON 4 DEGREES-OF-FREEDOM:
## Level of Significance =  0.05 
## 
## Call:
##  gvlma::gvlma(x = mdl) 
## 
##                      Value  p-value                   Decision
## Global Stat        15.1022 0.004494 Assumptions NOT satisfied!
## Skewness            3.1467 0.076078    Assumptions acceptable.
## Kurtosis            1.9628 0.161218    Assumptions acceptable.
## Link Function       0.2725 0.601627    Assumptions acceptable.
## Heteroscedasticity  9.7202 0.001823 Assumptions NOT satisfied!
## 
## -----> БАЗОВЫЕ ГРАФИКИ:

## 
## -----> ТЕСТ НА НОРМАЛЬНОСТЬ РАСПРЕДЕЛЕНИЯ ОСТАТКОВ
## 
## 
##  Shapiro-Wilk normality test
## 
## data:  mdl$residuals
## W = 0.98782, p-value = 0.1726

## -----> ФАКТОР ИНФЛЯЦИИ ДИСПЕРСИЙ:
## 
##       MRM MRM:Count 
##  3.057194  3.057194 
## 
## -----> ТЕСТ НА АВТОКОРРЕЛЯЦИЮ:
## 
##  lag Autocorrelation D-W Statistic p-value
##    1      0.07681102      1.839824   0.262
##  Alternative hypothesis: rho != 0
## 
## -----> ТЕСТ НА ВЫБРОСЫ И ВЛИЯТЕЛЬНЫЕ НАБЛЮДЕНИЯ:
## 
## No Studentized residuals with Bonferroni p < 0.05
## Largest |rstudent|:
##     rstudent unadjusted p-value Bonferroni p
## 118 3.325731          0.0010952      0.17741

##        StudRes        Hat      CookD
## 80  -2.4914153 0.05095927 0.16139562
## 118  3.3257305 0.01271721 0.06702101
## 135 -3.1286456 0.10227243 0.52853540
## 155 -0.5357005 0.14155353 0.02376629
## -----> ВЫБРОСЫ И ВЛИЯТЕЛЬНЫЕ НАБЛЮДЕНИЯ:
## 
## # A tibble: 4 x 16
##      RM   MRM Count Action Sex   Experience   Age Weight Height BodyType
##   <dbl> <dbl> <dbl> <fct>  <fct> <ord>      <dbl>  <dbl>  <dbl> <fct>   
## 1   290   200    20 Тяга   Мужч~ 6-10 лет      28    107    185 Эндоморф
## 2   230   170    20 Тяга   Мужч~ 6-10 лет      25     82    178 Эндоморф
## 3   210   150    10 Присед Мужч~ больше 10~    42    100    183 Мезоморф
## 4   160   120    20 Жим    Мужч~ 4-5 лет       22    115    195 Эндоморф
## # ... with 6 more variables: CountGroup <fct>, AgeGroup <fct>, Index <dbl>,
## #   IndexGroup <fct>, Body2 <fct>, Action2 <fct>

Выше приведена вся необходимая информация о качестве модели (назовём эту модель \(b_1\)). Из неё важнее всего следующее:

  • На выборочных данных модель ошибается максимум на 21кг и 13%;

  • В среднем модель ошибается на 3%;

  • В 75% случаев ошибка не превышала 5%;

  • Наибольший разброс ошибок приходится на диапазон 11-20;

  • Модель статистически значима и удовлетворяет всем нужным требованиям, кроме гетероскедастичности;

  • Немало больших ошибок приходится на диапазон 11-20 повторений, содержащий меньше всего наблюдений.

Уточнение коэффициентов: зависимость от диапазона

Теперь сделаем поправку для коэффициентов \(a,b\) в зависимости от факторных переменных. Путём подбора удалось найти две схожие модели (назовём их \(b_2\) и \(b_3\)), немного отличающиеся оценками кросс-валидации на разных диапазонах. Поскольку на диапазоне повторений 11-20 по-прежнему сохранялись сильные ошибки, было принято решение удалить этот диапазон (также это можно обосновать тем, что на этом диапазоне меньше данных и сложнее отлавливать выбросы, да и физиологически он не так тесно связан с силой, как другие).

Далее приведён анализ для модели \(RM=MRM \cdot(a+b \cdot Count)\), в которой и \(a\) и \(b\) имеют поправку на диапазон повторений.

## # A tibble: 112 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   192    210  18.2         8.69   150    10 Присед Мужч~    100 7-10      
##  2   199    215  15.7         7.29   180     3 Присед Мужч~     84 2-3       
##  3   271    285  14.3         5.00   220     8 Присед Мужч~     90 7-10      
##  4   142    130  12.5         9.59   120     6 Жим    Мужч~     98 4-6       
##  5   237    225  12.4         5.53   200     6 Жим    Мужч~    102 4-6       
##  6   107     95  11.8        12.5     90     6 Жим    Мужч~     74 4-6       
##  7   214    225  11.3         5.03   180     6 Тяга   Мужч~     90 4-6       
##  8   199    210  10.7         5.08   180     3 Присед Мужч~    125 2-3       
##  9   141    130  10.6         8.17   110    10 Жим    Мужч~    100 7-10      
## 10   151    140  10.5         7.53   120     9 Жим    Мужч~     77 7-10      
## # ... with 102 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 12.46227 
## ------------> Наибольшая ошибка в меньшую сторону: 18.24883 
## Модель ошиблась более чем на 5 % в 28 случаях из 139 ( 20.14388 %)
## Модель ошиблась более чем на 5 кг в 44 случаях из 139 ( 31.65468 %)
## ----------------> Статистика по ошибкам в процентах:
##     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
##  0.00977  0.91712  2.53843  2.98739  4.29788 12.47021 
## -------------------> Среднеквадратичная ошибка: 5.529521 
## Оценка кросс-валидации для всего набора данных 35.4706 
## Оценка кросс-валидации для не более чем 10 повторений 33.51893 
## Оценка кросс-валидации для не более чем 6 повторений 31.80048

## -----> ОБЩАЯ ИНФОРМАЦИЯ О МОДЕЛИ:
## 
## 
## Call:
## lm(formula = RM ~ MRM:Count:CountGroup + MRM:CountGroup - 1, 
##     data = data)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -12.4623  -3.6210  -0.1014   2.5825  18.2488 
## 
## Coefficients:
##                          Estimate Std. Error t value Pr(>|t|)    
## MRM:CountGroup2-3        0.988699   0.029669  33.324  < 2e-16 ***
## MRM:CountGroup4-6        0.997533   0.035651  27.981  < 2e-16 ***
## MRM:CountGroup7-10       1.039799   0.055896  18.603  < 2e-16 ***
## MRM:Count:CountGroup2-3  0.039572   0.011331   3.492 0.000650 ***
## MRM:Count:CountGroup4-6  0.031609   0.007065   4.474 1.63e-05 ***
## MRM:Count:CountGroup7-10 0.023854   0.006434   3.708 0.000306 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.653 on 133 degrees of freedom
## Multiple R-squared:  0.9987, Adjusted R-squared:  0.9987 
## F-statistic: 1.768e+04 on 6 and 133 DF,  p-value: < 2.2e-16
## 
## 
## ASSESSMENT OF THE LINEAR MODEL ASSUMPTIONS
## USING THE GLOBAL TEST ON 4 DEGREES-OF-FREEDOM:
## Level of Significance =  0.05 
## 
## Call:
##  gvlma::gvlma(x = mdl) 
## 
##                     Value p-value                   Decision
## Global Stat         8.359 0.07929    Assumptions acceptable.
## Skewness            2.795 0.09455    Assumptions acceptable.
## Kurtosis            2.394 0.12180    Assumptions acceptable.
## Link Function      -2.689 1.00000    Assumptions acceptable.
## Heteroscedasticity  5.858 0.01550 Assumptions NOT satisfied!
## 
## -----> БАЗОВЫЕ ГРАФИКИ:

## 
## -----> ТЕСТ НА НОРМАЛЬНОСТЬ РАСПРЕДЕЛЕНИЯ ОСТАТКОВ
## 
## 
##  Shapiro-Wilk normality test
## 
## data:  mdl$residuals
## W = 0.98086, p-value = 0.0484

## -----> ФАКТОР ИНФЛЯЦИИ ДИСПЕРСИЙ:
## 
##                          GVIF Df GVIF^(1/(2*Df))
## MRM:CountGroup       60763.96  3        6.270098
## MRM:Count:CountGroup 60763.96  3        6.270098
## 
## -----> ТЕСТ НА АВТОКОРРЕЛЯЦИЮ:
## 
##  lag Autocorrelation D-W Statistic p-value
##    1      -0.0176863      2.032798   0.872
##  Alternative hypothesis: rho != 0
## 
## -----> ТЕСТ НА ВЫБРОСЫ И ВЛИЯТЕЛЬНЫЕ НАБЛЮДЕНИЯ:
## 
## No Studentized residuals with Bonferroni p < 0.05
## Largest |rstudent|:
##     rstudent unadjusted p-value Bonferroni p
## 107  3.53666         0.00055969     0.077797

##         StudRes        Hat        CookD
## 107  3.53666048 0.09471553 2.007389e-01
## 117  2.93227669 0.05581455 8.013469e-02
## 122 -0.01923107 0.13639036 9.808402e-06
## 136  2.73268128 0.10629953 1.411707e-01
## 139  0.61955380 0.16715187 1.289938e-02
## -----> ВЫБРОСЫ И ВЛИЯТЕЛЬНЫЕ НАБЛЮДЕНИЯ:
## 
## # A tibble: 5 x 16
##      RM   MRM Count Action Sex   Experience   Age Weight Height BodyType
##   <dbl> <dbl> <dbl> <fct>  <fct> <ord>      <dbl>  <dbl>  <dbl> <fct>   
## 1   300   250     6 Присед Мужч~ больше 10~    28    117    193 Эктоморф
## 2   285   220     8 Присед Мужч~ больше 10~    35     90    173 Эктоморф
## 3   230   180    10 Присед Мужч~ 4-5 лет       24    104    182 Эндоморф
## 4   215   180     3 Присед Мужч~ 4-5 лет       20     84    167 Эндоморф
## 5   210   150    10 Присед Мужч~ больше 10~    42    100    183 Мезоморф
## # ... with 6 more variables: CountGroup <fct>, AgeGroup <fct>, Index <dbl>,
## #   IndexGroup <fct>, Body2 <fct>, Action2 <fct>

Аналогичные выводы:

  • На выборочных данных модель ошибается максимум на 18кг и 13%;

  • В среднем модель ошибается на 3%;

  • В 80% случаев ошибка не превышала 5%;

  • Наибольший разброс ошибок приходится на диапазон 4-6;

  • Модель статистически значима и удовлетворяет всем нужным требованиям, кроме гетероскедастичности;

Третье поколение моделей

Путём пошагового отбора переменных были найдены ещё две равнозначные модели (\(b_4\) и \(b_5\)), которые, несмотря на большую сложность в сравнении с предыдущими, имеют лучшие оценки при кросс-валидации.

Статистика по одной из этих моделей:

## # A tibble: 115 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   196   210  13.9          6.62   150    10 Присед Мужч~    100 7-10      
##  2   142   130  12.1          9.31   120     6 Жим    Мужч~     98 4-6       
##  3   107    95  11.6         12.2     90     6 Жим    Мужч~     74 4-6       
##  4   161   172  11.5          6.68   140     5 Жим    Мужч~     83 4-6       
##  5   104   115  11.0          9.57    85     8 Жим    Мужч~     76 7-10      
##  6   205   215  10.1          4.70   180     3 Присед Мужч~     84 2-3       
##  7   100   110   9.89         8.99    90     4 Жим    Мужч~     60 4-6       
##  8    90   100   9.80         9.80    70    10 Тяга   Мужч~     63 7-10      
##  9   137   128.  9.77         7.66   120     3 Присед Женщ~     72 2-3       
## 10   235   225   9.60         4.27   200     6 Жим    Мужч~    102 4-6       
## # ... with 105 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 12.09735 
## ------------> Наибольшая ошибка в меньшую сторону: 13.90043 
## Модель ошиблась более чем на 5 % в 21 случаях из 139 ( 15.10791 %)
## Модель ошиблась более чем на 5 кг в 44 случаях из 139 ( 31.65468 %)
## ----------------> Статистика по ошибкам в процентах:
##     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
##  0.01759  0.94961  2.08660  2.83833  3.94832 12.31595 
## -------------------> Среднеквадратичная ошибка: 5.026615 
## Оценка кросс-валидации для всего набора данных 28.84623 
## Оценка кросс-валидации для не более чем 10 повторений 29.81997 
## Оценка кросс-валидации для не более чем 6 повторений 27.87395

## -----> ОБЩАЯ ИНФОРМАЦИЯ О МОДЕЛИ:
## 
## 
## Call:
## lm(formula = RM ~ I((MRM/Index)^6) + MRM:CountGroup + MRM:Action + 
##     MRM:CountGroup:Count - 1, data = data)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -12.0974  -3.2898  -0.1568   3.0781  13.9004 
## 
## Coefficients:
##                            Estimate Std. Error t value Pr(>|t|)    
## I((MRM/Index)^6)         -2.989e-05  1.125e-05  -2.657  0.00887 ** 
## MRM:CountGroup2-3         9.963e-01  2.848e-02  34.984  < 2e-16 ***
## MRM:CountGroup4-6         9.711e-01  3.401e-02  28.558  < 2e-16 ***
## MRM:CountGroup7-10        1.077e+00  5.195e-02  20.738  < 2e-16 ***
## MRM:ActionТяга            2.893e-02  1.014e-02   2.854  0.00502 ** 
## MRM:ActionПрисед          4.984e-02  9.648e-03   5.166 8.78e-07 ***
## MRM:CountGroup2-3:Count   3.325e-02  1.067e-02   3.116  0.00226 ** 
## MRM:CountGroup4-6:Count   3.578e-02  6.842e-03   5.229 6.62e-07 ***
## MRM:CountGroup7-10:Count  1.833e-02  6.011e-03   3.050  0.00278 ** 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.198 on 130 degrees of freedom
## Multiple R-squared:  0.999,  Adjusted R-squared:  0.9989 
## F-statistic: 1.395e+04 on 9 and 130 DF,  p-value: < 2.2e-16
## 
## 
## ASSESSMENT OF THE LINEAR MODEL ASSUMPTIONS
## USING THE GLOBAL TEST ON 4 DEGREES-OF-FREEDOM:
## Level of Significance =  0.05 
## 
## Call:
##  gvlma::gvlma(x = mdl) 
## 
##                      Value p-value                Decision
## Global Stat        2.19263  0.7004 Assumptions acceptable.
## Skewness           0.36972  0.5432 Assumptions acceptable.
## Kurtosis           0.02639  0.8710 Assumptions acceptable.
## Link Function      1.38357  0.2395 Assumptions acceptable.
## Heteroscedasticity 0.41295  0.5205 Assumptions acceptable.
## 
## -----> БАЗОВЫЕ ГРАФИКИ:

## 
## -----> ТЕСТ НА НОРМАЛЬНОСТЬ РАСПРЕДЕЛЕНИЯ ОСТАТКОВ
## 
## 
##  Shapiro-Wilk normality test
## 
## data:  mdl$residuals
## W = 0.99366, p-value = 0.7982

## -----> ФАКТОР ИНФЛЯЦИИ ДИСПЕРСИЙ:
## 
##                              GVIF Df GVIF^(1/(2*Df))
## I((MRM/Index)^6)         2.561915  1        1.600598
## MRM:CountGroup       72443.114733  3        6.456535
## MRM:Action               2.898866  2        1.304839
## MRM:CountGroup:Count 72727.913065  3        6.460759
## 
## -----> ТЕСТ НА АВТОКОРРЕЛЯЦИЮ:
## 
##  lag Autocorrelation D-W Statistic p-value
##    1      0.05025135      1.898978   0.476
##  Alternative hypothesis: rho != 0
## 
## -----> ТЕСТ НА ВЫБРОСЫ И ВЛИЯТЕЛЬНЫЕ НАБЛЮДЕНИЯ:
## 
## No Studentized residuals with Bonferroni p < 0.05
## Largest |rstudent|:
##     rstudent unadjusted p-value Bonferroni p
## 107 2.939544           0.003896      0.54155

##        StudRes        Hat      CookD
## 67  -2.4292576 0.04745956 0.03148271
## 107  2.9395444 0.12364895 0.12794568
## 135  1.1939398 0.34047677 0.08150057
## 136  2.0484146 0.21288703 0.12307151
## 137 -0.6896425 0.40079089 0.03548954
## -----> ВЫБРОСЫ И ВЛИЯТЕЛЬНЫЕ НАБЛЮДЕНИЯ:
## 
## # A tibble: 5 x 16
##      RM   MRM Count Action Sex   Experience   Age Weight Height BodyType
##   <dbl> <dbl> <dbl> <fct>  <fct> <ord>      <dbl>  <dbl>  <dbl> <fct>   
## 1   285   220     8 Присед Мужч~ больше 10~    35     90    173 Эктоморф
## 2   262   220     6 Тяга   Мужч~ больше 10~    33     89    184 Эктоморф
## 3   240   225     3 Тяга   Мужч~ больше 10~    36     87    180 Эктоморф
## 4   210   150    10 Присед Мужч~ больше 10~    42    100    183 Мезоморф
## 5   130   120     6 Жим    Мужч~ 2-3 года      21     98    188 Эндоморф
## # ... with 6 more variables: CountGroup <fct>, AgeGroup <fct>, Index <dbl>,
## #   IndexGroup <fct>, Body2 <fct>, Action2 <fct>

Аналогичные выводы:

  • На выборочных данных модель ошибается максимум на 13кг и 12%;

  • В среднем модель ошибается на менее 3%;

  • В 85% случаев ошибка не превышала 5%;

  • В целом, на каждом диапазоне имеется почти одинаковый разброс;

  • Модель статистически значима и удовлетворяет всем нужным требованиям.


Сравнение моделей и подведение итогов

В результате перекрёстной проверки для всех моделей при числе блоков 5, 6, 7, 8, 9, 10, 11, 12 было обнаружено, что модель \(b_5\) значительно превосходит остальные модели, причём это верно, если делать проверку как на всём диапазоне повторений (2-10), так и на более близком к силовому диапазоне 2-7:

На втором месте после модели \(b_5\) идёт более простая модель \(b_3\). Что это за модели? Посмотрим на модель \(b_3\):

## 
## Call:
## lm(formula = RM ~ MRM:Count:CountGroup + MRM:Action - 1, data = data)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -11.1658  -3.3898   0.0727   3.0208  13.5361 
## 
## Coefficients:
##                          Estimate Std. Error t value Pr(>|t|)    
## MRM:ActionЖим            0.998895   0.019934  50.111  < 2e-16 ***
## MRM:ActionТяга           1.012918   0.020963  48.320  < 2e-16 ***
## MRM:ActionПрисед         1.036228   0.021859  47.406  < 2e-16 ***
## MRM:Count:CountGroup2-3  0.031222   0.007776   4.015 9.86e-05 ***
## MRM:Count:CountGroup4-6  0.029581   0.004048   7.308 2.26e-11 ***
## MRM:Count:CountGroup7-10 0.027353   0.002420  11.301  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.31 on 133 degrees of freedom
## Multiple R-squared:  0.9989, Adjusted R-squared:  0.9988 
## F-statistic: 2.004e+04 on 6 and 133 DF,  p-value: < 2.2e-16

Она имеет вид \[RM=MRM \cdot (Action_{coef}+CountGroup_{coef} \cdot Count),\] где \(Action_{coef}\) равен 0.9988949 для жима, 1.0129181 для тяги и 1.0362281 для приседа, а \(CountGroup_{coef}\) есть поправка на диапазон повторений, равная 0.0312223 для диапазона 2-3, 0.0295811 – для 4-6 и 0.0273531 – для 7-10. Как видно, первые три коэффициента близки к единице, однако различия между ними имеют значение; заметим также, что поправка на диапазон повторений 2-3 довольно близка к коэффициенту Лилли (0.0333).

Кстати, по точности модель \(b_3\) превосходит вторую модель Мориса (ту, что выражена таблицами для каждого движения):

# модель Мориса

sq = c(1, 1.0475, 1.13, 1.1575, 1.2, 1.242, 1.284, 1.326, 1.368, 1.41)
pr = c(1, 1.035, 1.08, 1.115, 1.15, 1.18, 1.22, 1.255, 1.29, 1.325)
lf = c(1, 1.065, 1.13, 1.147, 1.164, 1.181, 1.198, 1.232, 1.236, 1.24)


rlt = data$MRM * (sq[data$Count] * ifelse(data$Action == "Жим", 1, 0) + pr[data$Count] * 
    ifelse(data$Action == "Присед", 1, 0) + lf[data$Count] * ifelse(data$Action == 
    "Тяга", 1, 0))

Show(rlt)
## # A tibble: 122 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   155    130  25.1        19.3    110    10 Жим    Мужч~    100 7-10      
##  2   164    140  24.2        17.3    120     9 Жим    Мужч~     77 7-10      
##  3   248    225  23.4        10.4    200     6 Жим    Мужч~    102 4-6       
##  4   183    160  23.3        14.6    130    10 Жим    Мужч~    130 7-10      
##  5   194    215  20.6         9.58   180     3 Присед Мужч~     84 2-3       
##  6   149    130  19.0        14.6    120     6 Жим    Мужч~     98 4-6       
##  7   239    220  18.7         8.49   180     8 Жим    Мужч~    160 7-10      
##  8   123    105  18.1        17.3     90     9 Жим    Мужч~     54 7-10      
##  9   197    180  17.4         9.67   140    10 Жим    Мужч~    105 7-10      
## 10   162    145  17.1        11.8    115    10 Жим    Мужч~     84 7-10      
## # ... with 112 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 25.1 
## ------------> Наибольшая ошибка в меньшую сторону: 20.6 
## Модель ошиблась более чем на 5 % в 60 случаях из 139 ( 43.16547 %)
## Модель ошиблась более чем на 5 кг в 80 случаях из 139 ( 57.55396 %)
## ----------------> Статистика по ошибкам в процентах:
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   0.000   2.006   4.325   5.282   7.386  19.308 
## -------------------> Среднеквадратичная ошибка: 9.482539
# модель b3
b3 = lm(RM ~ MRM:Count:CountGroup + MRM:Action - 1, data)
b3 %>% predict(data) %>% Show()
## # A tibble: 114 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   196    210 13.5          6.45   150    10 Присед Мужч~    100 7-10      
##  2   203    215 11.6          5.40   180     3 Присед Мужч~     84 2-3       
##  3   104    115 11.5          9.99    85     8 Жим    Мужч~     76 7-10      
##  4   161    172 11.4          6.66   140     5 Жим    Мужч~     83 4-6       
##  5   141    130 11.2          8.59   120     6 Жим    Мужч~     98 4-6       
##  6   106     95 10.9         11.4     90     6 Жим    Мужч~     74 4-6       
##  7   214    225 10.7          4.77   180     6 Тяга   Мужч~     90 4-6       
##  8   235    225 10.3          4.57   200     6 Жим    Мужч~    102 4-6       
##  9   180    170 10.1          5.94   140    10 Тяга   Мужч~     77 7-10      
## 10   140    130  9.97         7.67   110    10 Жим    Мужч~    100 7-10      
## # ... with 104 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 11.16581 
## ------------> Наибольшая ошибка в меньшую сторону: 13.53614 
## Модель ошиблась более чем на 5 % в 21 случаях из 139 ( 15.10791 %)
## Модель ошиблась более чем на 5 кг в 44 случаях из 139 ( 31.65468 %)
## ----------------> Статистика по ошибкам в процентах:
##     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
##  0.02251  1.03594  2.41179  2.89557  4.13407 11.44670 
## -------------------> Среднеквадратичная ошибка: 5.194366

Тогда аналогичная таблица, на сколько нужно умножить свой вес для разного числа повторений, выглядит так:

Модель \(b_5\) имеет два дополнительных слагаемых:

## 
## Call:
## lm(formula = RM ~ I((MRM/Index)^6) + MRM:CountGroup + MRM:Action + 
##     MRM:CountGroup:Count - 1, data = data)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -12.0974  -3.2898  -0.1568   3.0781  13.9004 
## 
## Coefficients:
##                            Estimate Std. Error t value Pr(>|t|)    
## I((MRM/Index)^6)         -2.989e-05  1.125e-05  -2.657  0.00887 ** 
## MRM:CountGroup2-3         9.963e-01  2.848e-02  34.984  < 2e-16 ***
## MRM:CountGroup4-6         9.711e-01  3.401e-02  28.558  < 2e-16 ***
## MRM:CountGroup7-10        1.077e+00  5.195e-02  20.738  < 2e-16 ***
## MRM:ActionТяга            2.893e-02  1.014e-02   2.854  0.00502 ** 
## MRM:ActionПрисед          4.984e-02  9.648e-03   5.166 8.78e-07 ***
## MRM:CountGroup2-3:Count   3.325e-02  1.067e-02   3.116  0.00226 ** 
## MRM:CountGroup4-6:Count   3.578e-02  6.842e-03   5.229 6.62e-07 ***
## MRM:CountGroup7-10:Count  1.833e-02  6.011e-03   3.050  0.00278 ** 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.198 on 130 degrees of freedom
## Multiple R-squared:  0.999,  Adjusted R-squared:  0.9989 
## F-statistic: 1.395e+04 on 9 and 130 DF,  p-value: < 2.2e-16

Её вид, аналогично:

\[RM=MRM \cdot (CountGroup_{coef_2} +Action_{coef}+CountGroup_{coef_1} \cdot Count)+coef \cdot\left(\frac{MRM}{Index}\right)^6\] Здесь \(coef\) при последнем слагаемом равен -0.0000299, \(Index\) – индекс массы тела. Дробь внутри последнего слагаемого можно упростить:

\[\frac{MRM}{Index}=\frac{MRM \cdot (0.01 \cdot Height)^2}{Weight}=\frac{MRM \cdot Height^2}{10000\cdot Weight}\] Вообще существование этого слагаемого (с шестой степенью) кажется чем-то очень сомнительным, но математика показывает, что это имеет смысл. Результаты дисперсионного анализа говорят о том, что включение указанного коэффициента создаёт значимое отличие между моделями с ним и без него:

anova(lm(RM ~ MRM:CountGroup + MRM:Action + MRM:CountGroup:Count - 1, data = data), 
    lm(RM ~ I((MRM/Index)^6) + MRM:CountGroup + MRM:Action + MRM:CountGroup:Count - 
        1, data = data))

Очень интересно, что в этих двух моделях нет зависимости от возраста, типа телосложения, опыта и пола6. Конечно, нельзя рассмотреть всевозможные вариации таких моделей, но среди сотни рассмотренных (в том числе с помощью пакета caret) не было обнаружено доказательств значимости включения этих факторов в модель.

Как итог, для определения ПМ нужны лишь следующие данные:

  • МПМ;

  • Число повторений;

  • Движение;

  • Рост и вес спортсмена.


Нелинейные модели

В этом разделе происходит построение нелинейных моделей для предсказания повторных максимумов, проверяются формулы МакГлотина, Ломбарди и другие нелинейные формулы. Оценка качества моделей происходит по аналогичным принципам, то есть значение имеют:

  1. точность моделей при перекрёстной проверке, чтобы их можно было сравнить и выбрать лучшую;

  2. точность модели на обучающих данных, поскольку неточные модели не имеют пользы, даже если превосходят другие при перекрёстной проверке;

  3. простота модели.

Сначала рассматриваются отдельные классы моделей из указанной выше ссылки и мои предложения, затем они сравниваются друг с другом и делаются выводы.

Основные известные модели

Модели Эпли, Вендлера и О’Коннора – это одна и та же модель вида \(RM=MRM \cdot(1+c \cdot Count)\) с разными значениями коэффициента \(c\). Как выяснилось, эти отличия обусловлены только тем, на каком разбросе повторений происходил подбор \(c\): значение из формулы О’Коннора наиболее оптимально, если формула должна примерно одинаково хорошо работать на не более чем 20 повторениях, а значение из формулы Эпли, предположительно, оптимально для 2-5 повторений:

vc = sapply(c(4, 8, 11, 21, 50), function(p) nls(RM ~ MRM * (1 + Count * coef), data = data.backup %>% 
    filter(Count < p), start = list(coef = 1/30)) %>% coef())

names(vc) = c(paste(rep("not more", 4), levels(data$CountGroup)[1:4]), "all")

# коэффициент на разном числе повторений
vc
##   not more 2-3   not more 4-6  not more 7-10 not more 11-20            all 
##     0.03533385     0.03144874     0.02991780     0.02597967     0.02475472

Обучив такую модель (с названием \(n_1\)) для диапазона повторений 2-10, получим следующие результаты:

## 
## Formula: RM ~ MRM * (1 + Count * coef)
## 
## Parameters:
##      Estimate Std. Error t value Pr(>|t|)    
## coef 0.035334   0.001879    18.8   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 4.96 on 46 degrees of freedom
## 
## Number of iterations to convergence: 1 
## Achieved convergence tolerance: 6.963e-09
## 
## # A tibble: 124 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   189    170  19.5        11.5    140    10 Тяга   Мужч~     77 7-10      
##  2   149    130  18.9        14.5    110    10 Жим    Мужч~    100 7-10      
##  3   158    140  18.2        13.0    120     9 Жим    Мужч~     77 7-10      
##  4   242    225  17.4         7.73   200     6 Жим    Мужч~    102 4-6       
##  5   176    160  15.9         9.96   130    10 Жим    Мужч~    130 7-10      
##  6   199    215  15.9         7.40   180     3 Присед Мужч~     84 2-3       
##  7   145    130  15.4        11.9    120     6 Жим    Мужч~     98 4-6       
##  8   109     95  14.1        14.8     90     6 Жим    Мужч~     74 4-6       
##  9   119    105  13.6        13.0     90     9 Жим    Мужч~     54 7-10      
## 10   244    230  13.6         5.91   180    10 Присед Мужч~    104 7-10      
## # ... with 114 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 19.46739 
## ------------> Наибольшая ошибка в меньшую сторону: 15.91972 
## Модель ошиблась более чем на 5 % в 42 случаях из 139 ( 30.21583 %)
## Модель ошиблась более чем на 5 кг в 64 случаях из 139 ( 46.04317 %)
## ----------------> Статистика по ошибкам в процентах:
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##  0.0624  1.5126  3.1115  3.9177  5.2597 14.8213 
## -------------------> Среднеквадратичная ошибка: 7.006946

Модели Бжицки и МакГлотина – это тоже одна и та же модель вида

\[RM=MRM \cdot \frac{a}{b-Count}\] с разными \(a, b\). Обучив такую модель (с названием \(n_2\)) для диапазона повторений 2-10, получим более точную модель:

## 
## Formula: RM ~ MRM * a/(b - Count)
## 
## Parameters:
##   Estimate Std. Error t value Pr(>|t|)    
## a   53.332      2.905   18.36   <2e-16 ***
## b   51.364      2.507   20.49   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.676 on 137 degrees of freedom
## 
## Number of iterations to convergence: 4 
## Achieved convergence tolerance: 3.629e-07
## 
## # A tibble: 114 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   193    210  16.6         7.90   150    10 Присед Мужч~    100 7-10      
##  2   198    215  16.5         7.68   180     3 Присед Мужч~     84 2-3       
##  3   271    285  14.4         5.06   220     8 Присед Мужч~     90 7-10      
##  4   212    225  13.4         5.95   180     6 Тяга   Мужч~     90 4-6       
##  5   188    200  11.9         5.95   160     6 Тяга   Мужч~    120 4-6       
##  6   142    130  11.8         9.10   110    10 Жим    Мужч~    100 7-10      
##  7   198    210  11.5         5.48   180     3 Присед Мужч~    125 2-3       
##  8   141    130  11.1         8.52   120     6 Жим    Мужч~     98 4-6       
##  9   151    140  11.1         7.91   120     9 Жим    Мужч~     77 7-10      
## 10   161    172  11.0         6.37   140     5 Жим    Мужч~     83 4-6       
## # ... with 104 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 11.8292 
## ------------> Наибольшая ошибка в меньшую сторону: 16.59654 
## Модель ошиблась более чем на 5 % в 26 случаях из 139 ( 18.70504 %)
## Модель ошиблась более чем на 5 кг в 47 случаях из 139 ( 33.81295 %)
## ----------------> Статистика по ошибкам в процентах:
##     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
##  0.02678  0.96765  2.70607  3.04275  4.42815 11.37884 
## -------------------> Среднеквадратичная ошибка: 5.634673

Аналогично модели Мэйхью и Ватана — это вариации модели

\[RM=\frac{100 \cdot MRM}{a+b\cdot e^{-c\cdot Count}}\] Обучив такую модель (\(n_3\)), получим примерно такие же результаты, как у \(n_2\):

## 
## Formula: RM ~ 100 * MRM/(a + b * exp(-c * Count))
## 
## Parameters:
##   Estimate Std. Error t value Pr(>|t|)    
## a 64.58492   10.60647   6.089 1.09e-08 ***
## b 34.58499    9.09511   3.803 0.000215 ***
## c  0.09229    0.04784   1.929 0.055807 .  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.619 on 136 degrees of freedom
## 
## Number of iterations to convergence: 4 
## Achieved convergence tolerance: 1.653e-06
## 
## # A tibble: 114 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   192    210  18.5         8.81   150    10 Присед Мужч~    100 7-10      
##  2   198    215  16.8         7.80   180     3 Присед Мужч~     84 2-3       
##  3   271    285  13.8         4.83   220     8 Присед Мужч~     90 7-10      
##  4   142    130  12.1         9.29   120     6 Жим    Мужч~     98 4-6       
##  5   213    225  11.9         5.29   180     6 Тяга   Мужч~     90 4-6       
##  6   237    225  11.8         5.24   200     6 Жим    Мужч~    102 4-6       
##  7   198    210  11.8         5.61   180     3 Присед Мужч~    125 2-3       
##  8   107     95  11.6        12.2     90     6 Жим    Мужч~     74 4-6       
##  9   151    140  10.6         7.61   120     9 Жим    Мужч~     77 7-10      
## 10    89    100  10.6        10.6     70    10 Тяга   Мужч~     63 7-10      
## # ... with 104 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 12.07219 
## ------------> Наибольшая ошибка в меньшую сторону: 18.4967 
## Модель ошиблась более чем на 5 % в 27 случаях из 139 ( 19.42446 %)
## Модель ошиблась более чем на 5 кг в 42 случаях из 139 ( 30.21583 %)
## ----------------> Статистика по ошибкам в процентах:
##      Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
##  0.007849  1.083213  2.518431  2.997736  4.243552 12.162256 
## -------------------> Среднеквадратичная ошибка: 5.55823

Наконец, модель Ломбарди имеет вид \[RM=MRM \cdot Count^a\] Обучив её (\(n_4\)), получим примерно те же результаты (с параметром, очень близким к 0.1, предложенным Ломбарди):

## 
## Formula: RM ~ MRM * Count^a
## 
## Parameters:
##   Estimate Std. Error t value Pr(>|t|)    
## a 0.096835   0.001982   48.85   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.799 on 138 degrees of freedom
## 
## Number of iterations to convergence: 2 
## Achieved convergence tolerance: 1.583e-06
## 
## # A tibble: 117 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   187    210  22.5        10.7    150    10 Присед Мужч~    100 7-10      
##  2   269    285  15.9         5.59   220     8 Присед Мужч~     90 7-10      
##  3   200    215  14.8         6.88   180     3 Присед Мужч~     84 2-3       
##  4   238    225  12.9         5.73   200     6 Жим    Мужч~    102 4-6       
##  5   143    130  12.7         9.80   120     6 Жим    Мужч~     98 4-6       
##  6    87    100  12.5        12.5     70    10 Тяга   Мужч~     63 7-10      
##  7   107     95  12.1        12.7     90     6 Жим    Мужч~     74 4-6       
##  8   172    160  11.6         7.22   150     4 Жим    Мужч~     84 4-6       
##  9   104    115  11.0         9.60    85     8 Жим    Мужч~     76 7-10      
## 10   214    225  10.9         4.84   180     6 Тяга   Мужч~     90 4-6       
## # ... with 107 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 12.89334 
## ------------> Наибольшая ошибка в меньшую сторону: 22.53238 
## Модель ошиблась более чем на 5 % в 28 случаях из 139 ( 20.14388 %)
## Модель ошиблась более чем на 5 кг в 50 случаях из 139 ( 35.97122 %)
## ----------------> Статистика по ошибкам в процентах:
##     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. 
##  0.01727  1.28387  2.44399  3.13536  4.80735 12.68632 
## -------------------> Среднеквадратичная ошибка: 5.778451

Новые предложения

Кроме этого, я попробую модель \(n_5\): \[RM=MRM^a \cdot \frac{b}{c-Count+d \cdot Count^2}\]

## 
## Formula: RM ~ (MRM^d) * (coef1)/(coef2 - Count + c * Count^2)
## 
## Parameters:
##        Estimate Std. Error t value Pr(>|t|)    
## coef1 30.974358   5.911066   5.240 6.03e-07 ***
## coef2 33.722462   5.640670   5.978 1.90e-08 ***
## d      1.019050   0.010444  97.575  < 2e-16 ***
## c      0.028978   0.009796   2.958  0.00366 ** 
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.574 on 135 degrees of freedom
## 
## Number of iterations to convergence: 4 
## Achieved convergence tolerance: 1.445e-07
## 
## # A tibble: 113 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   192    210  18.0         8.56   150    10 Присед Мужч~    100 7-10      
##  2   199    215  16.3         7.60   180     3 Присед Мужч~     84 2-3       
##  3   238    225  13.2         5.88   200     6 Жим    Мужч~    102 4-6       
##  4    88    100  11.7        11.7     70    10 Тяга   Мужч~     63 7-10      
##  5   142    130  11.6         8.89   120     6 Жим    Мужч~     98 4-6       
##  6   199    210  11.3         5.40   180     3 Присед Мужч~    125 2-3       
##  7   274    285  11.2         3.91   220     8 Присед Мужч~     90 7-10      
##  8   104    115  11.1         9.65    85     8 Жим    Мужч~     76 7-10      
##  9   214    225  11.0         4.90   180     6 Тяга   Мужч~     90 4-6       
## 10   106     95  10.6        11.1     90     6 Жим    Мужч~     74 4-6       
## # ... with 103 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 13.22826 
## ------------> Наибольшая ошибка в меньшую сторону: 17.98451 
## Модель ошиблась более чем на 5 % в 28 случаях из 139 ( 20.14388 %)
## Модель ошиблась более чем на 5 кг в 45 случаях из 139 ( 32.3741 %)
## ----------------> Статистика по ошибкам в процентах:
##      Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
##  0.003659  0.930472  2.493836  2.990744  4.306580 11.684390 
## -------------------> Среднеквадратичная ошибка: 5.492923

и \(n_6\): \[RM=MRM^a \cdot \left(b+c \cdot Count^d \right),\]

## 
## Formula: RM ~ MRM^vk * (s + coef * Count^kk)
## 
## Parameters:
##      Estimate Std. Error t value Pr(>|t|)    
## coef  0.04831    0.03312   1.459  0.14699    
## vk    1.01908    0.01044  97.635  < 2e-16 ***
## kk    0.75447    0.23096   3.267  0.00138 ** 
## s     0.88968    0.06713  13.252  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.569 on 135 degrees of freedom
## 
## Number of iterations to convergence: 4 
## Achieved convergence tolerance: 4.267e-07
## 
## # A tibble: 113 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   192    210  17.9         8.50   150    10 Присед Мужч~    100 7-10      
##  2   199    215  16.2         7.53   180     3 Присед Мужч~     84 2-3       
##  3   238    225  13.2         5.86   200     6 Жим    Мужч~    102 4-6       
##  4    88    100  11.6        11.6     70    10 Тяга   Мужч~     63 7-10      
##  5   142    130  11.5         8.86   120     6 Жим    Мужч~     98 4-6       
##  6   274    285  11.5         4.03   220     8 Присед Мужч~     90 7-10      
##  7   104    115  11.2         9.76    85     8 Жим    Мужч~     76 7-10      
##  8   199    210  11.2         5.33   180     3 Присед Мужч~    125 2-3       
##  9   214    225  11.1         4.92   180     6 Тяга   Мужч~     90 4-6       
## 10   106     95  10.6        11.1     90     6 Жим    Мужч~     74 4-6       
## # ... with 103 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 13.17422 
## ------------> Наибольшая ошибка в меньшую сторону: 17.85852 
## Модель ошиблась более чем на 5 % в 26 случаях из 139 ( 18.70504 %)
## Модель ошиблась более чем на 5 кг в 41 случаях из 139 ( 29.4964 %)
## ----------------> Статистика по ошибкам в процентах:
##      Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
##  0.001064  1.029645  2.513181  2.991682  4.300770 11.628428 
## -------------------> Среднеквадратичная ошибка: 5.488704

а также версии предыдущих шести моделей с поправкой коэффициентов на разные факторные переменные и с включением/отсутствием слагаемого \(\left( \frac{MRM}{Index} \right)^6\) (для линейных моделей оно играло роль).

n7 = nls(RM ~ (MRM^d) * (coef1[Action])/(coef2[CountGroup] - Count + c * Count^2), 
    data = data, start = list(coef1 = rep(50, 3), coef2 = rep(40, 3), d = 1, c = 0))


n8 = nls(RM ~ MRM^vk[CountGroup] * (s[Action] + coef * sqrt(Count)), data = data, 
    start = list(coef = 0.0333, vk = rep(1, 3), s = rep(1, 3)))


n9 = nls(RM ~ MRM * (a[BodyType]/(b[Action] - Count)), data, start = list(a = rep(36, 
    3), b = rep(37, 3)))

n10 = nls(RM ~ MRM * (a[BodyType]/(b[Action] - Count)) + d * (MRM/Index)^6, data, 
    start = list(a = rep(36, 3), b = rep(37, 3), d = 0))


n11 = nls(RM ~ MRM * (a[Action]/(b[CountGroup] - Count)), data, start = list(a = rep(36, 
    3), b = rep(37, 3)))

n12 = nls(RM ~ MRM * (a[Action]/(b[CountGroup] - Count)) + d * (MRM/Index)^6, data, 
    start = list(a = rep(36, 3), b = rep(37, 3), d = 0))


n13 = nls(RM ~ MRM * (Count^a[CountGroup]) + b[Action] * MRM * Count^2, data, start = list(a = rep(0.1, 
    3), b = rep(0.1, 3)))

n14 = nls(RM ~ 100 * MRM/(a[Action] + b * exp(-c[CountGroup] * Count)) + d * (MRM/Index)^6, 
    data, start = list(a = rep(52, 3), b = 42, c = rep(0.0555, 3), d = 0))

Сравнение нелинейных моделей

Сравним названные модели, сделав перекрёстную проверку на диапазоне повторений 2-10:

Как видно, самой лучшей моделью оказалась \(n_{14}\) (основанная на моделях Мэйхью и Ватана), на втором месте идёт \(n_8\) (моё предложение):

n14 %>% ShowSummary()
## 
## Formula: RM ~ 100 * MRM/(a[Action] + b * exp(-c[CountGroup] * Count)) + 
##     d * (MRM/Index)^6
## 
## Parameters:
##      Estimate Std. Error t value Pr(>|t|)    
## a1  7.259e+01  6.392e+00  11.357  < 2e-16 ***
## a2  7.032e+01  6.319e+00  11.128  < 2e-16 ***
## a3  6.903e+01  6.329e+00  10.907  < 2e-16 ***
## b   3.037e+01  5.168e+00   5.877 3.27e-08 ***
## c1  1.665e-01  7.683e-02   2.167   0.0320 *  
## c2  1.499e-01  6.309e-02   2.376   0.0190 *  
## c3  1.487e-01  7.233e-02   2.056   0.0418 *  
## d  -2.667e-05  1.062e-05  -2.511   0.0133 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.157 on 131 degrees of freedom
## 
## Number of iterations to convergence: 6 
## Achieved convergence tolerance: 2.642e-06
## 
## # A tibble: 113 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   197   210  12.8          6.09   150    10 Присед Мужч~    100 7-10      
##  2   161   172  11.4          6.64   140     5 Жим    Мужч~     83 4-6       
##  3   104   115  11.2          9.72    85     8 Жим    Мужч~     76 7-10      
##  4   141   130  11.1          8.53   120     6 Жим    Мужч~     98 4-6       
##  5   106    95  10.9         11.4     90     6 Жим    Мужч~     74 4-6       
##  6   180   170  10.5          6.16   140    10 Тяга   Мужч~     77 7-10      
##  7   205   215  10.4          4.84   180     3 Присед Мужч~     84 2-3       
##  8   215   225  10.0          4.45   180     6 Тяга   Мужч~     90 4-6       
##  9   137   128.  9.49         7.44   120     3 Присед Женщ~     72 2-3       
## 10    91   100   9.37         9.37    70    10 Тяга   Мужч~     63 7-10      
## # ... with 103 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 11.08329 
## ------------> Наибольшая ошибка в меньшую сторону: 12.79354 
## Модель ошиблась более чем на 5 % в 22 случаях из 139 ( 15.82734 %)
## Модель ошиблась более чем на 5 кг в 46 случаях из 139 ( 33.09353 %)
## ----------------> Статистика по ошибкам в процентах:
##      Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
##  0.000241  1.128472  2.286958  2.852151  4.173735 11.686076 
## -------------------> Среднеквадратичная ошибка: 5.006509
n8 %>% ShowSummary()
## 
## Formula: RM ~ MRM^vk[CountGroup] * (s[Action] + coef * sqrt(Count))
## 
## Parameters:
##      Estimate Std. Error t value Pr(>|t|)    
## coef  0.12172    0.01986   6.129 9.54e-09 ***
## vk1   0.99792    0.01191  83.772  < 2e-16 ***
## vk2   0.99660    0.01163  85.696  < 2e-16 ***
## vk3   0.99746    0.01208  82.538  < 2e-16 ***
## s1    0.89421    0.06704  13.338  < 2e-16 ***
## s2    0.91171    0.07199  12.664  < 2e-16 ***
## s3    0.93403    0.07337  12.730  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 5.299 on 132 degrees of freedom
## 
## Number of iterations to convergence: 3 
## Achieved convergence tolerance: 1.565e-06
## 
## # A tibble: 113 x 11
##     Fact Target ERROR ErrorPercent   MRM Count Action Sex   Weight CountGroup
##    <dbl>  <dbl> <dbl>        <dbl> <dbl> <dbl> <fct>  <fct>  <dbl> <fct>     
##  1   195    210 14.7          6.98   150    10 Присед Мужч~    100 7-10      
##  2   161    172 11.4          6.64   140     5 Жим    Мужч~     83 4-6       
##  3   204    215 11.1          5.18   180     3 Присед Мужч~     84 2-3       
##  4   214    225 11.0          4.90   180     6 Тяга   Мужч~     90 4-6       
##  5   104    115 10.9          9.49    85     8 Жим    Мужч~     76 7-10      
##  6   141    130 10.8          8.29   120     6 Жим    Мужч~     98 4-6       
##  7   106     95 10.7         11.2     90     6 Жим    Мужч~     74 4-6       
##  8    90    100 10.2         10.2     70    10 Тяга   Мужч~     63 7-10      
##  9   250    240  9.75         4.06   225     3 Тяга   Мужч~     87 2-3       
## 10   190    200  9.73         4.87   160     6 Тяга   Мужч~    120 4-6       
## # ... with 103 more rows, and 1 more variable: Index <dbl>
## 
## ------------> Наибольшая ошибка в большую сторону: 10.77303 
## ------------> Наибольшая ошибка в меньшую сторону: 14.66399 
## Модель ошиблась более чем на 5 % в 21 случаях из 139 ( 15.10791 %)
## Модель ошиблась более чем на 5 кг в 47 случаях из 139 ( 33.81295 %)
## ----------------> Статистика по ошибкам в процентах:
##      Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
##  0.000994  1.063430  2.315090  2.877282  4.113872 11.245361 
## -------------------> Среднеквадратичная ошибка: 5.164286

Обе модели имеют одинаковую среднюю ошибку в менее чем 2.9%. По точности они схожи с линейными моделями \(b_3,b_5\).

Если сравнить лучшие найденные линейные и нелинейные модели, окажется, что модели \(n_8\) и \(b_3\) в целом неотличимы, а модель \(n_{14}\) немного превосходит \(b_5\):

Бустинг

Теперь попытаемся улучшить качество модели таким образом: добавим к исходному датасету предсказанные значения от моделей \(n_{14}\) и \(b_5\) и некоторые комбинации переменных (например, \(MRM \cdot Count\)), а затем попытаемся предсказать \(RM\) на новом датасете, используя возможности пакета caret.

Этот пакет позволяет использовать 238 моделей, поэтому сперва оценим некоторое их подмножество на новом наборе данных, чтобы отсеять малоэффективные.

Итак, создаём новый датасет:

d3 = data %>% select(MRM, Count, Weight, Height, Index, Action, CountGroup, IndexGroup) %>% 
    mutate_all(as.numeric) %>% mutate(pow = MRM * Count, add = (MRM/Index)^6, b5 = predict(b5, 
    data), n14 = predict(n14, data))

Возможные модели:

mths = c("ridge", "lasso", "blassoAveraged", "enet", "monmlp")

tbm = c("bstTree", "rpart", "rpart1SE", "rpart2", "ctree", "xgbDART", "xgbTree", 
    "M5", "nodeHarvest")

mars = c("bagEarth", "bagEarthGCV", "earth", "gcvEarth", "brnn")

rf = c("cforest", "parRF", "qrf", "ranger", "rf", "extraTrees", "RRF", "RRFglobal")

Идея следующая: сначала среди всех указанных алгоритмов нужно выбрать те, которые дадут явно лучшую точность в сравнении с уже найденными моделями (в противном случае алгоритм изначально не имеет смысла); гиперпараметры моделей будут подбираться автоматически, поэтому сперва отберём наиболее точные модели, созданные при 10-кратной перекрёстной проверке, затем повторим создание моделей и отбор, но уже c использованием большего числа повторностей (это нужно делать в несколько шагов, чтобы не тратить много лишнего времени), а уже после нескольких итераций, когда останутся только 3-5 моделей, будем производить их особую настройку и сравнение.

Первый шаг: сравнение моделей, чтобы выяснить их потенциал (нужно взять модели, которые явно точнее моделей \(b_5\) с точностью 5.026615 и \(n_{14}\) с точностью 5.0065095):

library(caret)
cvs.print2 = function(method.array, n = 10, reps = 10) {
    
    tr = trainControl(method = "repeatedcv", number = n, repeats = reps, verboseIter = F, 
        returnResamp = "final", savePredictions = T, summaryFunction = defaultSummary)
    aa = list()
    
    cvs = for (ft in method.array) {
        
        aa[[ft]] = train(y = data$RM, x = d3, method = ft, metric = "RMSE", maximize = FALSE, 
            trControl = tr)
    }
    
    results = resamples(aa)
    
    # summarize the distributions
    summary(results) %>% print()
    # boxplots of results
    bwplot(results) %>% print()
    # dot plots of results
    dotplot(results) %>% print()
    
}

cvs.print2(c(mths, tbm, mars, rf), 10, 2)
## t=100, m=2
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=6
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=1
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=1
## t=700, m=2
## t=800, m=3
## t=900, m=5
## t=100, m=3
## t=200, m=3
## t=300, m=1
## t=400, m=4
## t=500, m=6
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=1
## t=400, m=1
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=4
## t=100, m=4
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=5
## t=700, m=3
## t=800, m=4
## t=900, m=1
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=5
## t=700, m=3
## t=800, m=1
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=5
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=1
## t=400, m=2
## t=500, m=2
## t=600, m=5
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=4
## t=300, m=5
## t=400, m=2
## t=500, m=2
## t=600, m=4
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=1
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=4
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=2
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=5
## t=700, m=1
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=3
## ** Ensemble 1 
## 0.008309087 
## ** 0.008309087 
## 
## ** Ensemble 1 
## 0.005468765 
## ** 0.005468765 
## 
## ** Ensemble 1 
## 0.002719837 
## ** 0.002719837 
## 
## ** Ensemble 1 
## 0.01040023 
## ** 0.01040023 
## 
## ** Ensemble 1 
## 0.007935648 
## ** 0.007935648 
## 
## ** Ensemble 1 
## 0.003943358 
## ** 0.003943358 
## 
## ** Ensemble 1 
## 0.009446179 
## ** 0.009446179 
## 
## ** Ensemble 1 
## 0.006715118 
## ** 0.006715118 
## 
## ** Ensemble 1 
## 0.00251456 
## ** 0.00251456 
## 
## ** Ensemble 1 
## 0.008937337 
## ** 0.008937337 
## 
## ** Ensemble 1 
## 0.006366216 
## ** 0.006366216 
## 
## ** Ensemble 1 
## 0.003523353 
## ** 0.003523353 
## 
## ** Ensemble 1 
## 0.01082665 
## ** 0.01082665 
## 
## ** Ensemble 1 
## 0.00780917 
## ** 0.00780917 
## 
## ** Ensemble 1 
## 0.003315708 
## ** 0.003315708 
## 
## ** Ensemble 1 
## 0.009058021 
## ** 0.009058021 
## 
## ** Ensemble 1 
## 0.00606286 
## ** 0.00606286 
## 
## ** Ensemble 1 
## 0.00273866 
## ** 0.00273866 
## 
## ** Ensemble 1 
## 0.009111713 
## ** 0.009111713 
## 
## ** Ensemble 1 
## 0.006870557 
## ** 0.006870557 
## 
## ** Ensemble 1 
## 0.003076396 
## ** 0.003076396 
## 
## ** Ensemble 1 
## 0.01063195 
## ** 0.01063195 
## 
## ** Ensemble 1 
## 0.006316733 
## ** 0.006316733 
## 
## ** Ensemble 1 
## 0.003230885 
## ** 0.003230885 
## 
## ** Ensemble 1 
## 0.01039859 
## ** 0.01039859 
## 
## ** Ensemble 1 
## 0.006812246 
## ** 0.006812246 
## 
## ** Ensemble 1 
## 0.003459411 
## ** 0.003459411 
## 
## ** Ensemble 1 
## 0.009738134 
## ** 0.009738134 
## 
## ** Ensemble 1 
## 0.006389996 
## ** 0.006389996 
## 
## ** Ensemble 1 
## 0.003187627 
## ** 0.003187627 
## 
## ** Ensemble 1 
## 0.009024232 
## ** 0.009024232 
## 
## ** Ensemble 1 
## 0.005946596 
## ** 0.005946596 
## 
## ** Ensemble 1 
## 0.003112774 
## ** 0.003112774 
## 
## ** Ensemble 1 
## 0.009572185 
## ** 0.009572185 
## 
## ** Ensemble 1 
## 0.006247565 
## ** 0.006247565 
## 
## ** Ensemble 1 
## 0.003856408 
## ** 0.003856408 
## 
## ** Ensemble 1 
## 0.01040698 
## ** 0.01040698 
## 
## ** Ensemble 1 
## 0.007753042 
## ** 0.007753042 
## 
## ** Ensemble 1 
## 0.00409638 
## ** 0.00409638 
## 
## ** Ensemble 1 
## 0.009777853 
## ** 0.009777853 
## 
## ** Ensemble 1 
## 0.006385782 
## ** 0.006385782 
## 
## ** Ensemble 1 
## 0.002637839 
## ** 0.002637839 
## 
## ** Ensemble 1 
## 0.009768867 
## ** 0.009768867 
## 
## ** Ensemble 1 
## 0.00660564 
## ** 0.00660564 
## 
## ** Ensemble 1 
## 0.002881419 
## ** 0.002881419 
## 
## ** Ensemble 1 
## 0.009590774 
## ** 0.009590774 
## 
## ** Ensemble 1 
## 0.006818322 
## ** 0.006818322 
## 
## ** Ensemble 1 
## 0.003326 
## ** 0.003326 
## 
## ** Ensemble 1 
## 0.009020829 
## ** 0.009020829 
## 
## ** Ensemble 1 
## 0.005684736 
## ** 0.005684736 
## 
## ** Ensemble 1 
## 0.002559211 
## ** 0.002559211 
## 
## ** Ensemble 1 
## 0.009892719 
## ** 0.009892719 
## 
## ** Ensemble 1 
## 0.00695381 
## ** 0.00695381 
## 
## ** Ensemble 1 
## 0.003437614 
## ** 0.003437614 
## 
## ** Ensemble 1 
## 0.009509492 
## ** 0.009509492 
## 
## ** Ensemble 1 
## 0.005571383 
## ** 0.005571383 
## 
## ** Ensemble 1 
## 0.003216892 
## ** 0.003216892 
## 
## ** Ensemble 1 
## 0.009981069 
## ** 0.009981069 
## 
## ** Ensemble 1 
## 0.007155167 
## ** 0.007155167 
## 
## ** Ensemble 1 
## 0.003489248 
## ** 0.003489248 
## 
## ** Ensemble 1 
## 0.009779208 
## ** 0.009779208 
## 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 127 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 66
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1160
##  total number of nodes after removal of identical nodes : 504 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 386
##  number of selected nodes                               : 48 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1180
##  total number of nodes after removal of identical nodes : 767 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 646
##  number of selected nodes                               : 99 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1019
##  total number of nodes after removal of identical nodes : 139 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 72
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1153
##  total number of nodes after removal of identical nodes : 491 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 378
##  number of selected nodes                               : 56 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1203
##  total number of nodes after removal of identical nodes : 744 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 626
##  number of selected nodes                               : 96 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 135 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 70
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1150
##  total number of nodes after removal of identical nodes : 496 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 380
##  number of selected nodes                               : 49 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1215
##  total number of nodes after removal of identical nodes : 732 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 608
##  number of selected nodes                               : 96 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 129 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 66
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1150
##  total number of nodes after removal of identical nodes : 532 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 409
##  number of selected nodes                               : 52 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1219
##  total number of nodes after removal of identical nodes : 760 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 637
##  number of selected nodes                               : 107 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1013
##  total number of nodes after removal of identical nodes : 125 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 64
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1120
##  total number of nodes after removal of identical nodes : 492 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 378
##  number of selected nodes                               : 39 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1151
##  total number of nodes after removal of identical nodes : 725 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 602
##  number of selected nodes                               : 91 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1011
##  total number of nodes after removal of identical nodes : 133 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 70
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1132
##  total number of nodes after removal of identical nodes : 503 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 383
##  number of selected nodes                               : 57 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1138
##  total number of nodes after removal of identical nodes : 744 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 621
##  number of selected nodes                               : 101 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 113 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 58
##  number of selected nodes                               : 26 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1030
##  total number of nodes after removal of identical nodes : 398 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 284
##  number of selected nodes                               : 53 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1208
##  total number of nodes after removal of identical nodes : 681 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 560
##  number of selected nodes                               : 97 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 123 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 64
##  number of selected nodes                               : 28 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1038
##  total number of nodes after removal of identical nodes : 433 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 317
##  number of selected nodes                               : 47 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1184
##  total number of nodes after removal of identical nodes : 662 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 539
##  number of selected nodes                               : 94 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 121 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 62
##  number of selected nodes                               : 24 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1153
##  total number of nodes after removal of identical nodes : 514 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 392
##  number of selected nodes                               : 54 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1188
##  total number of nodes after removal of identical nodes : 730 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 606
##  number of selected nodes                               : 92 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1019
##  total number of nodes after removal of identical nodes : 131 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 68
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1147
##  total number of nodes after removal of identical nodes : 501 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 379
##  number of selected nodes                               : 67 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1217
##  total number of nodes after removal of identical nodes : 736 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 612
##  number of selected nodes                               : 72 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 137 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 70
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1155
##  total number of nodes after removal of identical nodes : 510 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 391
##  number of selected nodes                               : 48 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1204
##  total number of nodes after removal of identical nodes : 731 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 609
##  number of selected nodes                               : 90 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1019
##  total number of nodes after removal of identical nodes : 127 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 67
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1005
##  total number of nodes after removal of identical nodes : 476 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 354
##  number of selected nodes                               : 49 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1203
##  total number of nodes after removal of identical nodes : 732 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 609
##  number of selected nodes                               : 96 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1019
##  total number of nodes after removal of identical nodes : 121 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 61
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1150
##  total number of nodes after removal of identical nodes : 491 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 371
##  number of selected nodes                               : 54 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1188
##  total number of nodes after removal of identical nodes : 707 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 585
##  number of selected nodes                               : 77 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1015
##  total number of nodes after removal of identical nodes : 115 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 58
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1155
##  total number of nodes after removal of identical nodes : 459 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 341
##  number of selected nodes                               : 46 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1212
##  total number of nodes after removal of identical nodes : 701 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 580
##  number of selected nodes                               : 92 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1019
##  total number of nodes after removal of identical nodes : 123 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 62
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1108
##  total number of nodes after removal of identical nodes : 453 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 339
##  number of selected nodes                               : 56 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1110
##  total number of nodes after removal of identical nodes : 646 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 524
##  number of selected nodes                               : 68 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 105 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 55
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1096
##  total number of nodes after removal of identical nodes : 463 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 350
##  number of selected nodes                               : 47 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1125
##  total number of nodes after removal of identical nodes : 671 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 552
##  number of selected nodes                               : 59 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 119 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 60
##  number of selected nodes                               : 18 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1115
##  total number of nodes after removal of identical nodes : 462 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 342
##  number of selected nodes                               : 51 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1148
##  total number of nodes after removal of identical nodes : 683 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 562
##  number of selected nodes                               : 81 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 125 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 63
##  number of selected nodes                               : 26 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1133
##  total number of nodes after removal of identical nodes : 455 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 344
##  number of selected nodes                               : 48 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1145
##  total number of nodes after removal of identical nodes : 678 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 559
##  number of selected nodes                               : 83 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 117 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 60
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1011
##  total number of nodes after removal of identical nodes : 423 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 306
##  number of selected nodes                               : 46 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1168
##  total number of nodes after removal of identical nodes : 659 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 537
##  number of selected nodes                               : 80 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1019
##  total number of nodes after removal of identical nodes : 123 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 62
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1010
##  total number of nodes after removal of identical nodes : 436 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 319
##  number of selected nodes                               : 54 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1211
##  total number of nodes after removal of identical nodes : 686 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 565
##  number of selected nodes                               : 74 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1015
##  total number of nodes after removal of identical nodes : 157 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 82
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1118
##  total number of nodes after removal of identical nodes : 512 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 389
##  number of selected nodes                               : 48 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1135
##  total number of nodes after removal of identical nodes : 726 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 606
##  number of selected nodes                               : 87 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 145 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 75
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1117
##  total number of nodes after removal of identical nodes : 524 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 402
##  number of selected nodes                               : 52 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1141
##  total number of nodes after removal of identical nodes : 745 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 622
##  number of selected nodes                               : 89 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 125 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 64
##  number of selected nodes                               : 18 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1013
##  total number of nodes after removal of identical nodes : 457 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 342
##  number of selected nodes                               : 62 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1191
##  total number of nodes after removal of identical nodes : 739 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 616
##  number of selected nodes                               : 101 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 139 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 70
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1003
##  total number of nodes after removal of identical nodes : 462 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 345
##  number of selected nodes                               : 67 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1230
##  total number of nodes after removal of identical nodes : 712 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 589
##  number of selected nodes                               : 96 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 121 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 62
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1125
##  total number of nodes after removal of identical nodes : 490 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 372
##  number of selected nodes                               : 45 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1162
##  total number of nodes after removal of identical nodes : 675 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 556
##  number of selected nodes                               : 78 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 121 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 61
##  number of selected nodes                               : 18 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1129
##  total number of nodes after removal of identical nodes : 451 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 335
##  number of selected nodes                               : 55 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1149
##  total number of nodes after removal of identical nodes : 682 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 561
##  number of selected nodes                               : 92 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1013
##  total number of nodes after removal of identical nodes : 121 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 61
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1155
##  total number of nodes after removal of identical nodes : 505 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 386
##  number of selected nodes                               : 49 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1188
##  total number of nodes after removal of identical nodes : 730 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 611
##  number of selected nodes                               : 93 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 127 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 66
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1159
##  total number of nodes after removal of identical nodes : 489 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 371
##  number of selected nodes                               : 53 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1195
##  total number of nodes after removal of identical nodes : 765 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 645
##  number of selected nodes                               : 83 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1013
##  total number of nodes after removal of identical nodes : 113 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 57
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1108
##  total number of nodes after removal of identical nodes : 508 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 386
##  number of selected nodes                               : 46 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1136
##  total number of nodes after removal of identical nodes : 655 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 532
##  number of selected nodes                               : 85 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 107 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 56
##  number of selected nodes                               : 18 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1122
##  total number of nodes after removal of identical nodes : 475 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 353
##  number of selected nodes                               : 47 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1122
##  total number of nodes after removal of identical nodes : 723 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 599
##  number of selected nodes                               : 73 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 117 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 63
##  number of selected nodes                               : 24 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1168
##  total number of nodes after removal of identical nodes : 482 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 365
##  number of selected nodes                               : 56 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1174
##  total number of nodes after removal of identical nodes : 739 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 616
##  number of selected nodes                               : 90 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 141 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 74
##  number of selected nodes                               : 26 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1003
##  total number of nodes after removal of identical nodes : 438 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 328
##  number of selected nodes                               : 52 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1203
##  total number of nodes after removal of identical nodes : 717 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 597
##  number of selected nodes                               : 88 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1013
##  total number of nodes after removal of identical nodes : 123 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 63
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1151
##  total number of nodes after removal of identical nodes : 468 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 351
##  number of selected nodes                               : 56 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1225
##  total number of nodes after removal of identical nodes : 681 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 562
##  number of selected nodes                               : 94 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1019
##  total number of nodes after removal of identical nodes : 117 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 61
##  number of selected nodes                               : 24 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1144
##  total number of nodes after removal of identical nodes : 483 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 367
##  number of selected nodes                               : 56 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1210
##  total number of nodes after removal of identical nodes : 633 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 514
##  number of selected nodes                               : 91 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1015
##  total number of nodes after removal of identical nodes : 121 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 61
##  number of selected nodes                               : 18 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1126
##  total number of nodes after removal of identical nodes : 466 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 349
##  number of selected nodes                               : 45 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1182
##  total number of nodes after removal of identical nodes : 681 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 563
##  number of selected nodes                               : 89 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1015
##  total number of nodes after removal of identical nodes : 107 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 54
##  number of selected nodes                               : 18 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1149
##  total number of nodes after removal of identical nodes : 451 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 340
##  number of selected nodes                               : 52 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1208
##  total number of nodes after removal of identical nodes : 665 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 545
##  number of selected nodes                               : 87 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1021
##  total number of nodes after removal of identical nodes : 125 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 67
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1161
##  total number of nodes after removal of identical nodes : 492 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 367
##  number of selected nodes                               : 67 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1216
##  total number of nodes after removal of identical nodes : 774 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 650
##  number of selected nodes                               : 97 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 125 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 65
##  number of selected nodes                               : 22 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1003
##  total number of nodes after removal of identical nodes : 475 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 357
##  number of selected nodes                               : 49 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1229
##  total number of nodes after removal of identical nodes : 786 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 661
##  number of selected nodes                               : 81 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1015
##  total number of nodes after removal of identical nodes : 131 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 68
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1028
##  total number of nodes after removal of identical nodes : 450 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 333
##  number of selected nodes                               : 48 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1239
##  total number of nodes after removal of identical nodes : 726 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 602
##  number of selected nodes                               : 95 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1017
##  total number of nodes after removal of identical nodes : 131 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 67
##  number of selected nodes                               : 20 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1010
##  total number of nodes after removal of identical nodes : 447 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 331
##  number of selected nodes                               : 58 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1257
##  total number of nodes after removal of identical nodes : 792 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 667
##  number of selected nodes                               : 102 
## 
##  ... generating 1000 nodes ...
##  total number of nodes in initial set                   : 1238
##  total number of nodes after removal of identical nodes : 761 
##  ... computing node means ... 
##  ... computing node weights ...
##  dimension of null space of I                           : 631
##  number of selected nodes                               : 88 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8041    alpha= 1.523    beta= 332.3692 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.4524    alpha= 4.9521   beta= 338.7737 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 23.2576    alpha= 6.1598   beta= 346.6722 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8367    alpha= 1.5197   beta= 333.6077 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.8067    alpha= 5.0911   beta= 342.1234 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 25.7907    alpha= 5.5769   beta= 371.0893 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9105    alpha= 1.3545   beta= 359.4883 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.2157    alpha= 4.88     beta= 371.6191 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 25.8931    alpha= 5.3542   beta= 392.4439 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8352    alpha= 1.6173   beta= 364.724 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.0506    alpha= 5.1167   beta= 381.5452 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 24.6146    alpha= 6.446    beta= 397.7703 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.808     alpha= 1.5674   beta= 275.0227 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.1293    alpha= 4.1502   beta= 294.455 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.3157    alpha= 6.0345   beta= 289.7422 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8192    alpha= 1.587    beta= 337.4834 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.9355    alpha= 4.823    beta= 348.0949 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 23.6914    alpha= 6.4886   beta= 347.7792 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8229    alpha= 1.5227   beta= 328.4732 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.9666    alpha= 4.2479   beta= 329.2676 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 22.5945    alpha= 6.5848   beta= 333.1235 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.845     alpha= 1.8068   beta= 388.1195 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 20.1105    alpha= 5.4439   beta= 425.4107 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 24.4396    alpha= 6.0873   beta= 436.4313 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8845    alpha= 1.3677   beta= 345.0562 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.1317    alpha= 4.7655   beta= 371.3334 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 23.8861    alpha= 6.5293   beta= 360.9347 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8436    alpha= 1.6179   beta= 349.4833 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.5013    alpha= 5.0956   beta= 351.6211 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 23.9929    alpha= 6.2741   beta= 361.6386 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8438    alpha= 1.7048   beta= 355.9011 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.7098    alpha= 4.9872   beta= 364.3863 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 23.6536    alpha= 6.6631   beta= 369.2465 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8343    alpha= 1.4748   beta= 339.5816 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.3273    alpha= 4.2461   beta= 327.9484 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 25.8972    alpha= 5.3705   beta= 380.9316 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9275    alpha= 1.4351   beta= 369.0944 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038309 
## gamma= 19.7906    alpha= 5.2207   beta= 371.6539 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7060816 
## gamma= 24.13      alpha= 6.43     beta= 379.5156 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8169    alpha= 1.6833   beta= 360.346 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 20.1186    alpha= 4.9234   beta= 379.4546 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 23.1119    alpha= 6.6198   beta= 376.129 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9456    alpha= 1.3926   beta= 329.5018 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.9555    alpha= 3.3619   beta= 346.9903 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 23.2488    alpha= 6.4046   beta= 333.7971 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8517    alpha= 1.4617   beta= 340.1306 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.8057    alpha= 4.9891   beta= 347.538 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.2268    alpha= 6.5035   beta= 350.1412 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.6663    alpha= 1.7318   beta= 296.7917 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.6124    alpha= 5.2785   beta= 316.2341 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 25.2022    alpha= 5.9882   beta= 334.8436 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8413    alpha= 1.4984   beta= 333.1077 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.9485    alpha= 4.9845   beta= 346.9694 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 22.5641    alpha= 6.5061   beta= 342.6398 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8194    alpha= 1.4815   beta= 327.9443 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.8432    alpha= 5.062    beta= 336.8609 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 22.8527    alpha= 6.5173   beta= 337.9979 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8535    alpha= 1.5849   beta= 352.9268 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.8046    alpha= 5.0274   beta= 365.7753 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 25.6029    alpha= 5.5587   beta= 390.3229 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9174    alpha= 1.5142   beta= 349.013 
## 
## Call:
## summary.resamples(object = results)
## 
## Models: ridge, lasso, blassoAveraged, enet, monmlp, bstTree, rpart, rpart1SE, rpart2, ctree, xgbDART, xgbTree, M5, nodeHarvest, bagEarth, bagEarthGCV, earth, gcvEarth, brnn, cforest, parRF, qrf, ranger, rf, extraTrees, RRF, RRFglobal 
## Number of resamples: 20 
## 
## MAE 
##                     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. NA's
## ridge           3.167575  3.876641  4.223498  4.238938  4.466858  5.439798    0
## lasso           2.912580  3.728937  4.498013  4.382417  4.959393  5.868340    0
## blassoAveraged  2.509444  3.012786  3.637407  3.975608  5.039503  6.633138    0
## enet            3.159663  3.813420  4.268084  4.316918  4.781822  5.706676    0
## monmlp          2.563194  3.458937  4.343655  4.349363  5.120698  6.618225    0
## bstTree         3.602313  5.361380  6.453959  6.267416  7.295711  7.630396    0
## rpart          13.754374 15.302546 17.172605 17.965236 20.595755 23.598029    0
## rpart1SE        6.034837  7.569500  9.356247 10.002355 12.361848 14.214279    0
## rpart2          7.517691  8.401602 10.092767 10.343940 11.622235 13.614462    0
## ctree           5.512849  7.309297  8.482411  8.231508  9.023059 13.210778    0
## xgbDART         3.403192  5.201421  6.053106  5.935620  6.743412  7.971818    0
## xgbTree         3.479598  4.948318  5.901762  5.746514  6.438082  8.370705    0
## M5              2.711844  3.567892  3.890409  4.057934  4.700256  5.412114    0
## nodeHarvest     5.537279  6.522186  7.345652  7.691179  8.508634 11.644820    0
## bagEarth        3.037229  3.575224  3.954190  4.082810  4.505260  5.601527    0
## bagEarthGCV     2.524808  3.654819  4.108538  4.051354  4.361131  5.788103    0
## earth           2.946653  3.406952  3.703487  4.048734  4.775290  5.945613    0
## gcvEarth        3.055483  3.530738  4.109862  4.100582  4.496989  5.821592    0
## brnn            2.983892  3.556301  4.394630  4.493914  5.167259  7.172392    0
## cforest         4.618454  5.368300  6.214931  6.513434  7.703516  8.854870    0
## parRF           3.082004  4.454722  5.226977  5.410034  6.452600  7.684782    0
## qrf             3.653846  4.642170  5.375000  5.594036  6.601786  8.937500    0
## ranger          2.711559  3.744361  5.042018  4.935567  5.833179  7.743527    0
## rf              2.605431  4.245589  5.225535  5.381721  6.282783  9.183045    0
## extraTrees      2.780788  4.318206  5.308643  5.074399  5.774415  6.933103    0
## RRF             2.943106  4.238091  5.456491  5.326316  6.197819  8.813517    0
## RRFglobal       3.412992  4.108110  4.855995  5.221610  6.474772  8.352667    0
## 
## RMSE 
##                     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. NA's
## ridge           4.114915  4.749029  5.351623  5.299634  5.703840  6.972255    0
## lasso           4.138671  4.890581  5.580286  5.488684  5.949008  6.949751    0
## blassoAveraged  3.305640  4.057322  4.722901  4.934961  6.006707  7.954175    0
## enet            3.688526  4.822049  5.410884  5.425414  5.942385  7.002184    0
## monmlp          3.695688  4.754184  5.439721  5.406326  6.205755  7.370540    0
## bstTree         4.364873  6.973343  8.231280  8.376158  9.516382 12.395235    0
## rpart          15.404518 19.922090 21.837744 22.634644 25.851843 30.676290    0
## rpart1SE        7.595622  8.736834 11.995276 12.818149 15.962795 20.307382    0
## rpart2          9.088774 10.907782 12.705783 13.328762 15.741088 19.361049    0
## ctree           6.745377  9.378913 10.781608 11.292066 12.671686 20.950208    0
## xgbDART         4.323018  6.561738  7.513620  7.603375  8.777765 11.978361    0
## xgbTree         4.745852  6.474541  7.215307  7.517958  8.566330 10.903321    0
## M5              3.245144  4.603728  4.897763  5.089899  5.496696  6.728754    0
## nodeHarvest     6.855701  8.457995  9.797624 11.213162 14.356211 19.845700    0
## bagEarth        3.997747  4.718534  4.984742  5.122747  5.571715  7.179974    0
## bagEarthGCV     3.272873  4.729932  5.102182  5.098552  5.561011  6.741620    0
## earth           3.818958  4.355076  4.825684  5.066576  5.623746  7.028905    0
## gcvEarth        3.728855  4.597357  5.187663  5.111520  5.484690  6.776471    0
## brnn            3.890097  4.689143  5.806497  5.599742  6.521866  8.078246    0
## cforest         5.340726  6.898277  7.949828  9.627958 13.608752 16.835280    0
## parRF           4.239253  5.503158  6.735584  7.416134  8.693142 11.659772    0
## qrf             4.940025  6.192453  6.814831  7.772044  8.471346 12.930101    0
## ranger          3.453802  5.341353  6.958274  6.926294  7.722720 11.727834    0
## rf              3.560334  5.331961  6.587309  7.414016  9.388579 12.883490    0
## extraTrees      3.751494  5.335294  6.773800  6.681569  8.112711  9.601189    0
## RRF             3.760493  5.690088  6.808122  7.060081  8.240950 13.054940    0
## RRFglobal       4.690487  5.329153  6.330784  6.888309  7.860402 11.038665    0
## 
## Rsquared 
##                     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. NA's
## ridge          0.9793847 0.9861197 0.9889329 0.9892400 0.9926752 0.9968021    0
## lasso          0.9698417 0.9849008 0.9892998 0.9879861 0.9924497 0.9956297    0
## blassoAveraged 0.9772030 0.9870663 0.9913286 0.9900844 0.9948697 0.9981194    0
## enet           0.9711874 0.9872057 0.9909989 0.9887458 0.9928771 0.9953314    0
## monmlp         0.9679541 0.9858611 0.9894097 0.9881971 0.9936851 0.9976901    0
## bstTree        0.9566302 0.9714572 0.9754342 0.9759231 0.9811614 0.9943822    0
## rpart          0.6859657 0.7844054 0.8246963 0.8193680 0.8763820 0.9196330    0
## rpart1SE       0.8767083 0.9234159 0.9526458 0.9439497 0.9628570 0.9803677    0
## rpart2         0.8701766 0.9323529 0.9434110 0.9381298 0.9500049 0.9755867    0
## ctree          0.9249524 0.9423153 0.9622522 0.9579632 0.9697795 0.9896598    0
## xgbDART        0.9707800 0.9741799 0.9788773 0.9802136 0.9851861 0.9935711    0
## xgbTree        0.9665742 0.9742466 0.9796846 0.9793979 0.9849428 0.9902506    0
## M5             0.9662364 0.9878049 0.9908446 0.9893872 0.9939716 0.9971676    0
## nodeHarvest    0.9107088 0.9477215 0.9681053 0.9620067 0.9763223 0.9869866    0
## bagEarth       0.9785121 0.9850758 0.9917087 0.9892449 0.9928935 0.9964299    0
## bagEarthGCV    0.9778848 0.9882273 0.9907982 0.9903290 0.9937502 0.9955200    0
## earth          0.9715887 0.9879314 0.9908641 0.9898174 0.9932984 0.9958587    0
## gcvEarth       0.9652304 0.9881407 0.9914615 0.9899073 0.9932717 0.9974866    0
## brnn           0.9758585 0.9842366 0.9900414 0.9881028 0.9920451 0.9963218    0
## cforest        0.9217024 0.9605877 0.9763248 0.9697613 0.9841456 0.9908362    0
## parRF          0.9654293 0.9768511 0.9831289 0.9826986 0.9885942 0.9951996    0
## qrf            0.9671242 0.9747403 0.9799080 0.9788962 0.9814973 0.9904917    0
## ranger         0.9728124 0.9782539 0.9830630 0.9835116 0.9884159 0.9945925    0
## rf             0.9664468 0.9739083 0.9833814 0.9816076 0.9895728 0.9962789    0
## extraTrees     0.9670597 0.9787633 0.9841230 0.9831544 0.9891401 0.9954483    0
## RRF            0.9640657 0.9792120 0.9828876 0.9823714 0.9875038 0.9951906    0
## RRFglobal      0.9412112 0.9807435 0.9850224 0.9817424 0.9873988 0.9945295    0

Теперь стало ясно, что некоторые модели, основанные на деревьях, явно не работают. Но почти половина моделей имеют меньшее RMSE, чем другая половина. Оставим их и повторим процедуру с большим числом повторностей:

cvs.print2(c("blassoAveraged", "earth", "bagEarthGCV", "M5", "bagEarth", "gcvEarth", 
    "ridge", "enet", "monmlp", "lasso", "brnn"), n = 10, reps = 5)
## t=100, m=1
## t=200, m=2
## t=300, m=1
## t=400, m=4
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=4
## t=600, m=6
## t=700, m=2
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=5
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=1
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=5
## t=400, m=2
## t=500, m=5
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=6
## t=700, m=5
## t=800, m=1
## t=900, m=3
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=1
## t=900, m=6
## t=100, m=5
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=5
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=7
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=1
## t=800, m=2
## t=900, m=5
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=4
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=5
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=1
## t=800, m=4
## t=900, m=4
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=4
## t=900, m=3
## t=100, m=6
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=1
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=5
## t=300, m=1
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=1
## t=100, m=3
## t=200, m=5
## t=300, m=1
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=1
## t=800, m=1
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=6
## t=800, m=3
## t=900, m=5
## t=100, m=3
## t=200, m=1
## t=300, m=1
## t=400, m=1
## t=500, m=3
## t=600, m=4
## t=700, m=4
## t=800, m=5
## t=900, m=4
## t=100, m=3
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=3
## t=200, m=1
## t=300, m=3
## t=400, m=5
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=5
## t=200, m=2
## t=300, m=4
## t=400, m=5
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=5
## t=300, m=3
## t=400, m=1
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=4
## t=200, m=5
## t=300, m=4
## t=400, m=3
## t=500, m=1
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=5
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=5
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=4
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=5
## t=100, m=3
## t=200, m=2
## t=300, m=5
## t=400, m=6
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=5
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=1
## t=500, m=4
## t=600, m=4
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=7
## t=700, m=5
## t=800, m=6
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=4
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=5
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=4
## t=200, m=4
## t=300, m=3
## t=400, m=4
## t=500, m=3
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=5
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=1
## t=800, m=5
## t=900, m=3
## t=100, m=5
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=1
## t=900, m=5
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=5
## t=900, m=5
## t=100, m=5
## t=200, m=5
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=5
## t=400, m=1
## t=500, m=5
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=5
## t=600, m=2
## t=700, m=1
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=4
## t=400, m=5
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=4
## t=900, m=1
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=1
## t=300, m=1
## t=400, m=5
## t=500, m=1
## t=600, m=5
## t=700, m=1
## t=800, m=4
## t=900, m=1
## t=100, m=3
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=1
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=5
## t=500, m=4
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=4
## ** Ensemble 1 
## 0.009400563 
## ** 0.009400563 
## 
## ** Ensemble 1 
## 0.006384029 
## ** 0.006384029 
## 
## ** Ensemble 1 
## 0.003221932 
## ** 0.003221932 
## 
## ** Ensemble 1 
## 0.009644038 
## ** 0.009644038 
## 
## ** Ensemble 1 
## 0.006570744 
## ** 0.006570744 
## 
## ** Ensemble 1 
## 0.002817066 
## ** 0.002817066 
## 
## ** Ensemble 1 
## 0.01018698 
## ** 0.01018698 
## 
## ** Ensemble 1 
## 0.00609761 
## ** 0.00609761 
## 
## ** Ensemble 1 
## 0.003397327 
## ** 0.003397327 
## 
## ** Ensemble 1 
## 0.009592257 
## ** 0.009592257 
## 
## ** Ensemble 1 
## 0.0061967 
## ** 0.0061967 
## 
## ** Ensemble 1 
## 0.00296446 
## ** 0.00296446 
## 
## ** Ensemble 1 
## 0.008892358 
## ** 0.008892358 
## 
## ** Ensemble 1 
## 0.005151577 
## ** 0.005151577 
## 
## ** Ensemble 1 
## 0.00310608 
## ** 0.00310608 
## 
## ** Ensemble 1 
## 0.009964609 
## ** 0.009964609 
## 
## ** Ensemble 1 
## 0.005691203 
## ** 0.005691203 
## 
## ** Ensemble 1 
## 0.003222496 
## ** 0.003222496 
## 
## ** Ensemble 1 
## 0.009283096 
## ** 0.009283096 
## 
## ** Ensemble 1 
## 0.006288157 
## ** 0.006288157 
## 
## ** Ensemble 1 
## 0.003039767 
## ** 0.003039767 
## 
## ** Ensemble 1 
## 0.009608244 
## ** 0.009608244 
## 
## ** Ensemble 1 
## 0.006438968 
## ** 0.006438968 
## 
## ** Ensemble 1 
## 0.002711202 
## ** 0.002711202 
## 
## ** Ensemble 1 
## 0.009950761 
## ** 0.009950761 
## 
## ** Ensemble 1 
## 0.007059124 
## ** 0.007059124 
## 
## ** Ensemble 1 
## 0.00282391 
## ** 0.00282391 
## 
## ** Ensemble 1 
## 0.009978534 
## ** 0.009978534 
## 
## ** Ensemble 1 
## 0.006608316 
## ** 0.006608316 
## 
## ** Ensemble 1 
## 0.003406812 
## ** 0.003406812 
## 
## ** Ensemble 1 
## 0.009503779 
## ** 0.009503779 
## 
## ** Ensemble 1 
## 0.00599911 
## ** 0.00599911 
## 
## ** Ensemble 1 
## 0.003688358 
## ** 0.003688358 
## 
## ** Ensemble 1 
## 0.0102036 
## ** 0.0102036 
## 
## ** Ensemble 1 
## 0.006897403 
## ** 0.006897403 
## 
## ** Ensemble 1 
## 0.003028022 
## ** 0.003028022 
## 
## ** Ensemble 1 
## 0.009733965 
## ** 0.009733965 
## 
## ** Ensemble 1 
## 0.006977168 
## ** 0.006977168 
## 
## ** Ensemble 1 
## 0.002300387 
## ** 0.002300387 
## 
## ** Ensemble 1 
## 0.008996449 
## ** 0.008996449 
## 
## ** Ensemble 1 
## 0.005997792 
## ** 0.005997792 
## 
## ** Ensemble 1 
## 0.003552404 
## ** 0.003552404 
## 
## ** Ensemble 1 
## 0.01083783 
## ** 0.01083783 
## 
## ** Ensemble 1 
## 0.007142904 
## ** 0.007142904 
## 
## ** Ensemble 1 
## 0.003802742 
## ** 0.003802742 
## 
## ** Ensemble 1 
## 0.009706858 
## ** 0.009706858 
## 
## ** Ensemble 1 
## 0.006395995 
## ** 0.006395995 
## 
## ** Ensemble 1 
## 0.003350859 
## ** 0.003350859 
## 
## ** Ensemble 1 
## 0.008199335 
## ** 0.008199335 
## 
## ** Ensemble 1 
## 0.005581212 
## ** 0.005581212 
## 
## ** Ensemble 1 
## 0.00300887 
## ** 0.00300887 
## 
## ** Ensemble 1 
## 0.008900483 
## ** 0.008900483 
## 
## ** Ensemble 1 
## 0.005516956 
## ** 0.005516956 
## 
## ** Ensemble 1 
## 0.003298068 
## ** 0.003298068 
## 
## ** Ensemble 1 
## 0.01106431 
## ** 0.01106431 
## 
## ** Ensemble 1 
## 0.007675395 
## ** 0.007675395 
## 
## ** Ensemble 1 
## 0.003172568 
## ** 0.003172568 
## 
## ** Ensemble 1 
## 0.009516729 
## ** 0.009516729 
## 
## ** Ensemble 1 
## 0.006836561 
## ** 0.006836561 
## 
## ** Ensemble 1 
## 0.003490708 
## ** 0.003490708 
## 
## ** Ensemble 1 
## 0.009842144 
## ** 0.009842144 
## 
## ** Ensemble 1 
## 0.006149421 
## ** 0.006149421 
## 
## ** Ensemble 1 
## 0.003428134 
## ** 0.003428134 
## 
## ** Ensemble 1 
## 0.009459263 
## ** 0.009459263 
## 
## ** Ensemble 1 
## 0.006502246 
## ** 0.006502246 
## 
## ** Ensemble 1 
## 0.003416793 
## ** 0.003416793 
## 
## ** Ensemble 1 
## 0.01027207 
## ** 0.01027207 
## 
## ** Ensemble 1 
## 0.007085581 
## ** 0.007085581 
## 
## ** Ensemble 1 
## 0.003858631 
## ** 0.003858631 
## 
## ** Ensemble 1 
## 0.00965719 
## ** 0.00965719 
## 
## ** Ensemble 1 
## 0.006979214 
## ** 0.006979214 
## 
## ** Ensemble 1 
## 0.002501039 
## ** 0.002501039 
## 
## ** Ensemble 1 
## 0.01006443 
## ** 0.01006443 
## 
## ** Ensemble 1 
## 0.007376397 
## ** 0.007376397 
## 
## ** Ensemble 1 
## 0.00300558 
## ** 0.00300558 
## 
## ** Ensemble 1 
## 0.009783726 
## ** 0.009783726 
## 
## ** Ensemble 1 
## 0.005460827 
## ** 0.005460827 
## 
## ** Ensemble 1 
## 0.002617995 
## ** 0.002617995 
## 
## ** Ensemble 1 
## 0.00938888 
## ** 0.00938888 
## 
## ** Ensemble 1 
## 0.005922388 
## ** 0.005922388 
## 
## ** Ensemble 1 
## 0.003195806 
## ** 0.003195806 
## 
## ** Ensemble 1 
## 0.008636308 
## ** 0.008636308 
## 
## ** Ensemble 1 
## 0.005960895 
## ** 0.005960895 
## 
## ** Ensemble 1 
## 0.003474581 
## ** 0.003474581 
## 
## ** Ensemble 1 
## 0.01019512 
## ** 0.01019512 
## 
## ** Ensemble 1 
## 0.006420791 
## ** 0.006420791 
## 
## ** Ensemble 1 
## 0.003262397 
## ** 0.003262397 
## 
## ** Ensemble 1 
## 0.009266303 
## ** 0.009266303 
## 
## ** Ensemble 1 
## 0.006540511 
## ** 0.006540511 
## 
## ** Ensemble 1 
## 0.002896647 
## ** 0.002896647 
## 
## ** Ensemble 1 
## 0.009801921 
## ** 0.009801921 
## 
## ** Ensemble 1 
## 0.006374189 
## ** 0.006374189 
## 
## ** Ensemble 1 
## 0.003165181 
## ** 0.003165181 
## 
## ** Ensemble 1 
## 0.01012355 
## ** 0.01012355 
## 
## ** Ensemble 1 
## 0.006562835 
## ** 0.006562835 
## 
## ** Ensemble 1 
## 0.00398192 
## ** 0.00398192 
## 
## ** Ensemble 1 
## 0.009554764 
## ** 0.009554764 
## 
## ** Ensemble 1 
## 0.006613958 
## ** 0.006613958 
## 
## ** Ensemble 1 
## 0.003383636 
## ** 0.003383636 
## 
## ** Ensemble 1 
## 0.009820637 
## ** 0.009820637 
## 
## ** Ensemble 1 
## 0.006339225 
## ** 0.006339225 
## 
## ** Ensemble 1 
## 0.003293935 
## ** 0.003293935 
## 
## ** Ensemble 1 
## 0.00890345 
## ** 0.00890345 
## 
## ** Ensemble 1 
## 0.005682018 
## ** 0.005682018 
## 
## ** Ensemble 1 
## 0.002669263 
## ** 0.002669263 
## 
## ** Ensemble 1 
## 0.009721058 
## ** 0.009721058 
## 
## ** Ensemble 1 
## 0.006586431 
## ** 0.006586431 
## 
## ** Ensemble 1 
## 0.002641809 
## ** 0.002641809 
## 
## ** Ensemble 1 
## 0.009342263 
## ** 0.009342263 
## 
## ** Ensemble 1 
## 0.005928066 
## ** 0.005928066 
## 
## ** Ensemble 1 
## 0.003401228 
## ** 0.003401228 
## 
## ** Ensemble 1 
## 0.00965629 
## ** 0.00965629 
## 
## ** Ensemble 1 
## 0.006804234 
## ** 0.006804234 
## 
## ** Ensemble 1 
## 0.003462741 
## ** 0.003462741 
## 
## ** Ensemble 1 
## 0.0102999 
## ** 0.0102999 
## 
## ** Ensemble 1 
## 0.007358202 
## ** 0.007358202 
## 
## ** Ensemble 1 
## 0.003541334 
## ** 0.003541334 
## 
## ** Ensemble 1 
## 0.009704905 
## ** 0.009704905 
## 
## ** Ensemble 1 
## 0.006888504 
## ** 0.006888504 
## 
## ** Ensemble 1 
## 0.003262437 
## ** 0.003262437 
## 
## ** Ensemble 1 
## 0.00994888 
## ** 0.00994888 
## 
## ** Ensemble 1 
## 0.007511225 
## ** 0.007511225 
## 
## ** Ensemble 1 
## 0.003410126 
## ** 0.003410126 
## 
## ** Ensemble 1 
## 0.010166 
## ** 0.010166 
## 
## ** Ensemble 1 
## 0.007039197 
## ** 0.007039197 
## 
## ** Ensemble 1 
## 0.003442588 
## ** 0.003442588 
## 
## ** Ensemble 1 
## 0.009823689 
## ** 0.009823689 
## 
## ** Ensemble 1 
## 0.006422113 
## ** 0.006422113 
## 
## ** Ensemble 1 
## 0.003598396 
## ** 0.003598396 
## 
## ** Ensemble 1 
## 0.008884204 
## ** 0.008884204 
## 
## ** Ensemble 1 
## 0.006222139 
## ** 0.006222139 
## 
## ** Ensemble 1 
## 0.002924799 
## ** 0.002924799 
## 
## ** Ensemble 1 
## 0.009275472 
## ** 0.009275472 
## 
## ** Ensemble 1 
## 0.005078414 
## ** 0.005078414 
## 
## ** Ensemble 1 
## 0.003204566 
## ** 0.003204566 
## 
## ** Ensemble 1 
## 0.009315351 
## ** 0.009315351 
## 
## ** Ensemble 1 
## 0.006454773 
## ** 0.006454773 
## 
## ** Ensemble 1 
## 0.002570399 
## ** 0.002570399 
## 
## ** Ensemble 1 
## 0.009769055 
## ** 0.009769055 
## 
## ** Ensemble 1 
## 0.006562692 
## ** 0.006562692 
## 
## ** Ensemble 1 
## 0.003639035 
## ** 0.003639035 
## 
## ** Ensemble 1 
## 0.01011312 
## ** 0.01011312 
## 
## ** Ensemble 1 
## 0.006765008 
## ** 0.006765008 
## 
## ** Ensemble 1 
## 0.002619281 
## ** 0.002619281 
## 
## ** Ensemble 1 
## 0.009320937 
## ** 0.009320937 
## 
## ** Ensemble 1 
## 0.006281961 
## ** 0.006281961 
## 
## ** Ensemble 1 
## 0.003026662 
## ** 0.003026662 
## 
## ** Ensemble 1 
## 0.0100329 
## ** 0.0100329 
## 
## ** Ensemble 1 
## 0.006712339 
## ** 0.006712339 
## 
## ** Ensemble 1 
## 0.003101033 
## ** 0.003101033 
## 
## ** Ensemble 1 
## 0.009762025 
## ** 0.009762025 
## 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8044    alpha= 1.5674   beta= 332.202 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.96      alpha= 4.8565   beta= 348.2745 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 24.1145    alpha= 6.2848   beta= 352.2915 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9171    alpha= 1.4882   beta= 324.1209 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.6193    alpha= 4.4996   beta= 342.3495 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 24.0837    alpha= 5.8591   beta= 346.5712 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9156    alpha= 1.45     beta= 375.6945 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.2489    alpha= 5.141    beta= 386.1001 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.4442    alpha= 6.5658   beta= 380.4083 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8092    alpha= 1.693    beta= 356.1593 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.3918    alpha= 5.5391   beta= 363.5787 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 22.8602    alpha= 6.9053   beta= 362.2599 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8579    alpha= 1.4081   beta= 335.511 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.8962    alpha= 4.8527   beta= 346.131 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.3075    alpha= 6.3707   beta= 344.3082 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8546    alpha= 1.5398   beta= 341.8866 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.7959    alpha= 5.143    beta= 345.4066 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.7894    alpha= 6.357    beta= 351.1215 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8127    alpha= 1.5837   beta= 312.6019 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.2561    alpha= 4.1187   beta= 321.2907 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.2385    alpha= 6.2586   beta= 329.2838 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7422    alpha= 1.6701   beta= 328.2737 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.7119    alpha= 5.2341   beta= 342.561 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 25.1031    alpha= 5.7977   beta= 363.0684 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8609    alpha= 1.5187   beta= 350.6551 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.065     alpha= 4.3932   beta= 356.5644 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 24.9336    alpha= 6.0692   beta= 390.2066 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8782    alpha= 1.46     beta= 350.0202 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.9229    alpha= 4.9051   beta= 353.82 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 22.4854    alpha= 6.5287   beta= 347.9706 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7759    alpha= 1.629    beta= 326.4177 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.678     alpha= 5.2387   beta= 337.8909 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 24.9435    alpha= 6.0067   beta= 362.1268 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8663    alpha= 1.4567   beta= 308.5703 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.8599    alpha= 4.3607   beta= 325.1947 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 22.5607    alpha= 6.2013   beta= 318.3394 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8059    alpha= 1.522    beta= 327.725 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.8068    alpha= 5.0092   beta= 333.6012 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.4334    alpha= 6.5889   beta= 333.253 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8357    alpha= 1.5973   beta= 335.9424 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.2854    alpha= 4.3428   beta= 363.1543 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 24.6758    alpha= 6.0455   beta= 362.3235 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7911    alpha= 1.6069   beta= 319.1046 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.5735    alpha= 4.9644   beta= 332.8089 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.5464    alpha= 6.4262   beta= 338.9056 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8731    alpha= 1.5066   beta= 364.1671 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.0983    alpha= 5.0417   beta= 385.5711 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 22.9424    alpha= 6.5031   beta= 382.3968 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7597    alpha= 1.7026   beta= 268.7939 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 18.7395    alpha= 4.7004   beta= 270.6163 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 23.9495    alpha= 6.2528   beta= 282.5544 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8866    alpha= 1.477    beta= 368.0457 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.7954    alpha= 5.0014   beta= 374.1057 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 25.9581    alpha= 5.461    beta= 409.5927 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8931    alpha= 1.4106   beta= 357.8526 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 20.0109    alpha= 5.0642   beta= 360.9376 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 25.0551    alpha= 6.0318   beta= 370.8765 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8907    alpha= 1.5785   beta= 375.062 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.1523    alpha= 5.4386   beta= 394.54 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 22.4789    alpha= 6.7137   beta= 389.0853 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8059    alpha= 1.6856   beta= 342.7812 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.7089    alpha= 5.0668   beta= 358.01 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.5256    alpha= 6.4098   beta= 361.4012 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7844    alpha= 1.6495   beta= 335.2206 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 20.0481    alpha= 4.3219   beta= 340.4317 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 22.8153    alpha= 6.6109   beta= 346.7371 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8061    alpha= 1.6716   beta= 351.5172 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.931     alpha= 5.1806   beta= 362.1426 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 24.4448    alpha= 6.1458   beta= 378.7488 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8554    alpha= 1.4876   beta= 342.6401 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.9869    alpha= 4.8106   beta= 365.3811 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 23.1093    alpha= 6.6448   beta= 353.5615 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7995    alpha= 1.5747   beta= 339.0115 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.6669    alpha= 5.163    beta= 349.3017 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 23.9166    alpha= 6.5556   beta= 361.4137 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9545    alpha= 1.3461   beta= 389.7125 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.1192    alpha= 4.7075   beta= 399.6633 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 25.6264    alpha= 5.5991   beta= 421.905 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8516    alpha= 1.5386   beta= 301.4623 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.8742    alpha= 4.6637   beta= 309.7403 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 22.4925    alpha= 6.3623   beta= 303.9103 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8024    alpha= 1.4653   beta= 308.3363 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.4775    alpha= 5.1966   beta= 311.9763 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 24.1466    alpha= 6.127    beta= 320.9561 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8626    alpha= 1.553    beta= 336.5439 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.6946    alpha= 5.0006   beta= 349.1454 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 24.7089    alpha= 5.8432   beta= 369.4121 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8683    alpha= 1.5401   beta= 358.7457 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.8173    alpha= 5.1451   beta= 361.0278 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 25.3269    alpha= 5.7144   beta= 380.2922 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.832     alpha= 1.5773   beta= 340.6572 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.9307    alpha= 5.1635   beta= 352.0699 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 22.5935    alpha= 6.5996   beta= 349.7133 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8071    alpha= 1.5191   beta= 331.161 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.9969    alpha= 4.8647   beta= 348.3797 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 23.3691    alpha= 6.4253   beta= 347.1879 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8631    alpha= 1.5799   beta= 362.4746 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.9939    alpha= 5.1335   beta= 376.5337 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 22.9549    alpha= 6.6577   beta= 371.8915 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9892    alpha= 1.5833   beta= 438.6967 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.765     alpha= 5.4163   beta= 431.1767 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 24.293     alpha= 6.4717   beta= 450.7131 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8072    alpha= 1.5659   beta= 318.6083 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.8129    alpha= 4.6019   beta= 332.2823 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 24.931     alpha= 5.8714   beta= 341.0278 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9372    alpha= 1.3806   beta= 372.4687 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.0725    alpha= 4.8833   beta= 377.7463 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 22.4977    alpha= 6.3771   beta= 371.1382 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8127    alpha= 1.5921   beta= 344.2589 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.1204    alpha= 4.9171   beta= 366.1088 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 26.023     alpha= 5.4959   beta= 400.9354 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7266    alpha= 1.6721   beta= 257.7865 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.8232    alpha= 4.3831   beta= 275.989 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 22.8545    alpha= 6.3534   beta= 271.4228 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7355    alpha= 1.6486   beta= 319.587 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.5006    alpha= 5.3169   beta= 330.4055 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 24.4409    alpha= 6.1921   beta= 347.5416 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9262    alpha= 1.3098   beta= 355.9413 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.7304    alpha= 4.9911   beta= 357.4951 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 23.3711    alpha= 6.5056   beta= 358.601 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8659    alpha= 1.4513   beta= 342.2714 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 20.7366    alpha= 3.5333   beta= 349.2291 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.3797    alpha= 6.3754   beta= 347.1308 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8705    alpha= 1.4733   beta= 349.7607 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.876     alpha= 5.0066   beta= 360.5736 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.6221    alpha= 6.4666   beta= 362.3247 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8584    alpha= 1.6024   beta= 358.6773 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.3271    alpha= 5.4528   beta= 357.4521 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 22.2576    alpha= 6.868    beta= 358.0955 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8584    alpha= 1.6344   beta= 371.3116 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.6774    alpha= 5.1772   beta= 375.5143 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 25.2064    alpha= 5.9606   beta= 398.6072 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.878     alpha= 1.3872   beta= 347.0162 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 20.1565    alpha= 4.8992   beta= 362.7245 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 23.0468    alpha= 6.4841   beta= 360.1673 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9046    alpha= 1.4595   beta= 365.1864 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.8746    alpha= 5.0001   beta= 370.6153 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 24.2803    alpha= 6.1511   beta= 384.4554 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8093    alpha= 1.5749   beta= 344.3699 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038924 
## gamma= 19.6659    alpha= 5.1106   beta= 345.6287 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061793 
## gamma= 23.0536    alpha= 6.6731   beta= 347.7365 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7998    alpha= 1.6395   beta= 339.6755 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7039239 
## gamma= 19.8282    alpha= 5.1309   beta= 362.5562 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7062294 
## gamma= 22.2579    alpha= 6.4884   beta= 355.3469 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.8539    alpha= 1.6128   beta= 302.3626 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 20.0825    alpha= 4.6979   beta= 318.682 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 24.3189    alpha= 6.1523   beta= 323.7526 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.7378    alpha= 1.6341   beta= 288.9912 
## Number of parameters (weights and biases) to estimate: 28 
## Nguyen-Widrow method
## Scaling factor= 0.7038614 
## gamma= 19.9914    alpha= 4.4093   beta= 316.5279 
## Number of parameters (weights and biases) to estimate: 42 
## Nguyen-Widrow method
## Scaling factor= 0.7061301 
## gamma= 24.8301    alpha= 5.8897   beta= 311.2551 
## Number of parameters (weights and biases) to estimate: 14 
## Nguyen-Widrow method
## Scaling factor= 0.7 
## gamma= 12.9176    alpha= 1.5146   beta= 349.0042 
## 
## Call:
## summary.resamples(object = results)
## 
## Models: blassoAveraged, earth, bagEarthGCV, M5, bagEarth, gcvEarth, ridge, enet, monmlp, lasso, brnn 
## Number of resamples: 50 
## 
## MAE 
##                    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## blassoAveraged 2.296832 3.502526 3.929232 4.031546 4.709232 5.997906    0
## earth          2.158749 3.522995 3.897283 4.037554 4.724095 5.775712    0
## bagEarthGCV    2.376875 3.637420 3.925777 4.072128 4.708894 5.868935    0
## M5             2.446778 3.375296 3.991346 4.023078 4.464962 6.517887    0
## bagEarth       2.399260 3.503501 4.006994 4.037513 4.546568 6.116329    0
## gcvEarth       2.794636 3.550451 4.016496 4.048270 4.566614 5.461244    0
## ridge          2.526109 3.853150 4.357772 4.320584 4.891878 6.232575    0
## enet           2.561474 3.697302 4.092765 4.289250 4.807466 6.011799    0
## monmlp         2.361740 3.719147 4.422905 4.353186 4.781383 6.702267    0
## lasso          2.106912 3.505881 4.426712 4.346221 4.958524 6.519464    0
## brnn           2.327615 3.876145 4.447829 4.563962 5.153467 8.425541    0
## 
## RMSE 
##                    Min.  1st Qu.   Median     Mean  3rd Qu.      Max. NA's
## blassoAveraged 3.128367 4.459946 5.008636 5.042587 5.664976  7.197622    0
## earth          2.768912 4.313919 5.106048 5.022155 5.722425  7.120482    0
## bagEarthGCV    3.072540 4.516226 5.032570 5.096558 5.834599  7.170180    0
## M5             3.193618 4.422408 5.082875 5.046977 5.530682  7.462922    0
## bagEarth       3.190638 4.573917 5.055744 5.048429 5.576709  7.548347    0
## gcvEarth       3.502781 4.622867 5.168526 5.053859 5.529386  6.534939    0
## ridge          3.428302 4.670033 5.453262 5.403576 5.986666  7.329039    0
## enet           3.172636 4.685886 5.321170 5.375847 5.992769  7.903936    0
## monmlp         2.889868 4.837548 5.426395 5.433230 6.124753  7.849082    0
## lasso          2.746290 4.356122 5.494192 5.403005 6.205240  7.593416    0
## brnn           3.138250 4.974208 5.567115 5.660452 6.310287 10.337658    0
## 
## Rsquared 
##                     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. NA's
## blassoAveraged 0.9704421 0.9881071 0.9919072 0.9901686 0.9940680 0.9977138    0
## earth          0.9759693 0.9862695 0.9905751 0.9895534 0.9932288 0.9984462    0
## bagEarthGCV    0.9797932 0.9890605 0.9911172 0.9908844 0.9934140 0.9972782    0
## M5             0.9692177 0.9888901 0.9916735 0.9899679 0.9933885 0.9970714    0
## bagEarth       0.9685152 0.9872979 0.9908394 0.9896895 0.9930016 0.9970537    0
## gcvEarth       0.9784576 0.9881911 0.9906828 0.9904109 0.9932689 0.9961145    0
## ridge          0.9707379 0.9829417 0.9891209 0.9878822 0.9927695 0.9972150    0
## enet           0.9685001 0.9837007 0.9887836 0.9878468 0.9933400 0.9986216    0
## monmlp         0.9722860 0.9871182 0.9900372 0.9890066 0.9923259 0.9979836    0
## lasso          0.9704721 0.9855030 0.9894508 0.9883141 0.9934449 0.9980194    0
## brnn           0.9677331 0.9865138 0.9892002 0.9885716 0.9919712 0.9976975    0

Модели опять разделились на две группы, отсеим менее точные и повторим проверку:

cvs.print2(c("blassoAveraged", "earth", "bagEarthGCV", "M5", "bagEarth", "gcvEarth", 
    "ridge", "enet", "lasso"), n = 10, reps = 10)
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=7
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=1
## t=600, m=7
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=4
## t=300, m=4
## t=400, m=4
## t=500, m=1
## t=600, m=4
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=5
## t=300, m=6
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=1
## t=100, m=3
## t=200, m=5
## t=300, m=2
## t=400, m=3
## t=500, m=6
## t=600, m=6
## t=700, m=5
## t=800, m=5
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=1
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=6
## t=900, m=1
## t=100, m=4
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=6
## t=700, m=2
## t=800, m=4
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=5
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=1
## t=100, m=5
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=6
## t=700, m=2
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=1
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=6
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=5
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=4
## t=600, m=2
## t=700, m=5
## t=800, m=3
## t=900, m=4
## t=100, m=1
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=4
## t=500, m=3
## t=600, m=6
## t=700, m=1
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=1
## t=200, m=5
## t=300, m=1
## t=400, m=4
## t=500, m=6
## t=600, m=2
## t=700, m=6
## t=800, m=5
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=1
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=1
## t=200, m=3
## t=300, m=5
## t=400, m=5
## t=500, m=5
## t=600, m=2
## t=700, m=4
## t=800, m=6
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=5
## t=800, m=3
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=6
## t=100, m=2
## t=200, m=6
## t=300, m=6
## t=400, m=2
## t=500, m=5
## t=600, m=3
## t=700, m=2
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=4
## t=300, m=1
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=5
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=1
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=3
## t=600, m=3
## t=700, m=1
## t=800, m=2
## t=900, m=1
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=5
## t=200, m=3
## t=300, m=4
## t=400, m=6
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=3
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=4
## t=300, m=7
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=2
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=6
## t=400, m=4
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=6
## t=900, m=2
## t=100, m=1
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=3
## t=800, m=4
## t=900, m=5
## t=100, m=2
## t=200, m=1
## t=300, m=5
## t=400, m=4
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=1
## t=100, m=4
## t=200, m=1
## t=300, m=1
## t=400, m=1
## t=500, m=2
## t=600, m=4
## t=700, m=2
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=5
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=5
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=6
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=4
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=1
## t=200, m=1
## t=300, m=4
## t=400, m=2
## t=500, m=4
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=5
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=5
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=5
## t=600, m=2
## t=700, m=5
## t=800, m=2
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=6
## t=800, m=3
## t=900, m=3
## t=100, m=1
## t=200, m=2
## t=300, m=1
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=5
## t=800, m=3
## t=900, m=2
## t=100, m=1
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=1
## t=100, m=6
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=6
## t=300, m=4
## t=400, m=7
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=4
## t=400, m=4
## t=500, m=5
## t=600, m=2
## t=700, m=2
## t=800, m=5
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=5
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=5
## t=600, m=3
## t=700, m=3
## t=800, m=4
## t=900, m=2
## t=100, m=5
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=4
## t=800, m=3
## t=900, m=3
## t=100, m=5
## t=200, m=4
## t=300, m=5
## t=400, m=3
## t=500, m=3
## t=600, m=4
## t=700, m=4
## t=800, m=1
## t=900, m=5
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=1
## t=600, m=4
## t=700, m=4
## t=800, m=1
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=6
## t=400, m=3
## t=500, m=5
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=5
## t=200, m=2
## t=300, m=5
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=4
## t=300, m=1
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=5
## t=800, m=3
## t=900, m=6
## t=100, m=4
## t=200, m=5
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=5
## t=900, m=2
## t=100, m=3
## t=200, m=1
## t=300, m=3
## t=400, m=3
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=5
## t=100, m=3
## t=200, m=4
## t=300, m=5
## t=400, m=3
## t=500, m=1
## t=600, m=1
## t=700, m=4
## t=800, m=1
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=1
## t=900, m=4
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=4
## t=300, m=4
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=2
## t=800, m=5
## t=900, m=4
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=5
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=3
## t=700, m=5
## t=800, m=2
## t=900, m=3
## t=100, m=1
## t=200, m=1
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=7
## t=100, m=3
## t=200, m=4
## t=300, m=2
## t=400, m=1
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=4
## t=300, m=2
## t=400, m=5
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=5
## t=300, m=1
## t=400, m=1
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=5
## t=800, m=2
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=7
## t=500, m=1
## t=600, m=2
## t=700, m=5
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=5
## t=700, m=2
## t=800, m=4
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=1
## t=700, m=5
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=1
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=4
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=4
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=5
## t=100, m=2
## t=200, m=4
## t=300, m=5
## t=400, m=4
## t=500, m=3
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=5
## t=700, m=4
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=4
## t=700, m=1
## t=800, m=1
## t=900, m=2
## t=100, m=5
## t=200, m=2
## t=300, m=1
## t=400, m=4
## t=500, m=4
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=1
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=5
## t=700, m=3
## t=800, m=9
## t=900, m=3
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=4
## t=900, m=6
## t=100, m=2
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=3
## t=900, m=3
## t=100, m=1
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=6
## t=200, m=5
## t=300, m=5
## t=400, m=4
## t=500, m=3
## t=600, m=4
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=4
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=6
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=6
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=5
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=4
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=6
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=3
## 
## Call:
## summary.resamples(object = results)
## 
## Models: blassoAveraged, earth, bagEarthGCV, M5, bagEarth, gcvEarth, ridge, enet, lasso 
## Number of resamples: 100 
## 
## MAE 
##                    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## blassoAveraged 2.179609 3.487444 3.885611 4.027955 4.649594 5.836631    0
## earth          2.442792 3.475455 3.954730 4.051024 4.512482 6.600232    0
## bagEarthGCV    2.128990 3.581714 4.085735 4.077705 4.561288 6.129454    0
## M5             2.234548 3.474349 3.976937 4.028533 4.573440 6.595116    0
## bagEarth       2.318193 3.569644 3.951626 4.029665 4.522936 7.466846    0
## gcvEarth       2.126657 3.502130 3.980897 4.093460 4.765411 6.314860    0
## ridge          2.633073 3.740742 4.232101 4.303664 4.854316 6.596067    0
## enet           2.053549 3.823190 4.330813 4.301076 4.802897 6.700877    0
## lasso          1.808241 3.655037 4.472636 4.320069 5.018890 6.732566    0
## 
## RMSE 
##                    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## blassoAveraged 3.025086 4.505633 5.019036 5.059689 5.740887 7.224472    0
## earth          3.302321 4.395308 4.996221 5.056966 5.474760 7.585549    0
## bagEarthGCV    2.674610 4.511821 4.985967 5.111242 5.714175 7.402238    0
## M5             3.201603 4.434876 4.931815 5.052654 5.670160 7.427481    0
## bagEarth       3.261931 4.484405 4.985322 5.029058 5.522660 8.328928    0
## gcvEarth       2.835958 4.458543 5.096410 5.081651 5.760629 7.471077    0
## ridge          3.404038 4.768085 5.441608 5.388948 5.988916 7.635260    0
## enet           3.179096 4.913831 5.371068 5.395019 6.056898 7.479816    0
## lasso          2.147975 4.614502 5.472940 5.366435 6.158900 8.049224    0
## 
## Rsquared 
##                     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. NA's
## blassoAveraged 0.9627782 0.9875775 0.9910801 0.9900157 0.9934210 0.9982421    0
## earth          0.9696434 0.9872809 0.9913258 0.9895382 0.9940003 0.9974634    0
## bagEarthGCV    0.9707577 0.9877291 0.9912098 0.9896774 0.9940357 0.9982612    0
## M5             0.9659864 0.9871460 0.9914510 0.9897704 0.9938865 0.9978842    0
## bagEarth       0.9701834 0.9877065 0.9909536 0.9900608 0.9939221 0.9981153    0
## gcvEarth       0.9665896 0.9876675 0.9907807 0.9899205 0.9938960 0.9975380    0
## ridge          0.9667495 0.9850587 0.9895485 0.9882619 0.9924574 0.9972335    0
## enet           0.9665788 0.9863938 0.9900011 0.9889998 0.9931323 0.9970687    0
## lasso          0.9642456 0.9851617 0.9899895 0.9884887 0.9933398 0.9980090    0

Повторим проверку:

cvs.print2(c("blassoAveraged", "earth", "bagEarthGCV", "M5", "bagEarth", "gcvEarth"), 
    n = 15, reps = 15)
## t=100, m=5
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=4
## t=500, m=2
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=6
## t=200, m=4
## t=300, m=3
## t=400, m=1
## t=500, m=3
## t=600, m=5
## t=700, m=4
## t=800, m=1
## t=900, m=7
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=1
## t=500, m=3
## t=600, m=4
## t=700, m=2
## t=800, m=1
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=5
## t=700, m=3
## t=800, m=2
## t=900, m=5
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=5
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=5
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=4
## t=700, m=4
## t=800, m=4
## t=900, m=3
## t=100, m=6
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=5
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=4
## t=700, m=1
## t=800, m=3
## t=900, m=4
## t=100, m=1
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=3
## t=600, m=4
## t=700, m=6
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=5
## t=300, m=2
## t=400, m=5
## t=500, m=2
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=6
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=5
## t=900, m=3
## t=100, m=2
## t=200, m=6
## t=300, m=5
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=5
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=4
## t=500, m=2
## t=600, m=4
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=1
## t=400, m=4
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=6
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=1
## t=800, m=1
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=1
## t=200, m=4
## t=300, m=5
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=5
## t=600, m=4
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=7
## t=400, m=3
## t=500, m=2
## t=600, m=5
## t=700, m=5
## t=800, m=3
## t=900, m=1
## t=100, m=3
## t=200, m=2
## t=300, m=5
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=1
## t=400, m=3
## t=500, m=4
## t=600, m=5
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=1
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=3
## t=700, m=1
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=6
## t=300, m=6
## t=400, m=6
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=4
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=5
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=1
## t=500, m=2
## t=600, m=4
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=5
## t=400, m=4
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=9
## t=900, m=1
## t=100, m=3
## t=200, m=4
## t=300, m=1
## t=400, m=3
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=1
## t=900, m=5
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=5
## t=500, m=4
## t=600, m=2
## t=700, m=4
## t=800, m=4
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=5
## t=600, m=4
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=5
## t=400, m=3
## t=500, m=4
## t=600, m=4
## t=700, m=3
## t=800, m=4
## t=900, m=2
## t=100, m=2
## t=200, m=5
## t=300, m=5
## t=400, m=3
## t=500, m=3
## t=600, m=4
## t=700, m=2
## t=800, m=1
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=5
## t=800, m=3
## t=900, m=5
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=5
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=5
## t=200, m=1
## t=300, m=4
## t=400, m=4
## t=500, m=3
## t=600, m=5
## t=700, m=6
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=5
## t=500, m=1
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=1
## t=500, m=5
## t=600, m=5
## t=700, m=7
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=5
## t=100, m=4
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=5
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=5
## t=300, m=6
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=1
## t=100, m=4
## t=200, m=4
## t=300, m=1
## t=400, m=5
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=5
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=5
## t=100, m=3
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=7
## t=800, m=2
## t=900, m=4
## t=100, m=1
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=1
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=1
## t=800, m=3
## t=900, m=4
## t=100, m=1
## t=200, m=1
## t=300, m=5
## t=400, m=4
## t=500, m=3
## t=600, m=3
## t=700, m=4
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=1
## t=700, m=1
## t=800, m=5
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=1
## t=500, m=4
## t=600, m=4
## t=700, m=2
## t=800, m=5
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=1
## t=200, m=3
## t=300, m=5
## t=400, m=4
## t=500, m=2
## t=600, m=3
## t=700, m=1
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=3
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=4
## t=700, m=5
## t=800, m=3
## t=900, m=2
## t=100, m=1
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=5
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=1
## t=200, m=1
## t=300, m=1
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=4
## t=800, m=6
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=5
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=6
## t=500, m=3
## t=600, m=1
## t=700, m=1
## t=800, m=2
## t=900, m=6
## t=100, m=4
## t=200, m=3
## t=300, m=5
## t=400, m=3
## t=500, m=6
## t=600, m=4
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=5
## t=600, m=5
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=1
## t=300, m=1
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=6
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=5
## t=800, m=3
## t=900, m=5
## t=100, m=1
## t=200, m=1
## t=300, m=4
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=5
## t=900, m=1
## t=100, m=3
## t=200, m=5
## t=300, m=1
## t=400, m=2
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=5
## t=100, m=2
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=4
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=6
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=1
## t=300, m=4
## t=400, m=1
## t=500, m=6
## t=600, m=1
## t=700, m=2
## t=800, m=5
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=1
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=5
## t=100, m=1
## t=200, m=4
## t=300, m=1
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=7
## t=800, m=2
## t=900, m=5
## t=100, m=4
## t=200, m=4
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=4
## t=700, m=2
## t=800, m=1
## t=900, m=4
## t=100, m=4
## t=200, m=1
## t=300, m=3
## t=400, m=4
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=7
## t=500, m=1
## t=600, m=1
## t=700, m=5
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=6
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=1
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=1
## t=600, m=2
## t=700, m=5
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=1
## t=400, m=2
## t=500, m=1
## t=600, m=5
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=1
## t=800, m=2
## t=900, m=4
## t=100, m=5
## t=200, m=3
## t=300, m=4
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=1
## t=100, m=3
## t=200, m=1
## t=300, m=6
## t=400, m=4
## t=500, m=3
## t=600, m=3
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=5
## t=600, m=6
## t=700, m=3
## t=800, m=3
## t=900, m=7
## t=100, m=3
## t=200, m=2
## t=300, m=5
## t=400, m=6
## t=500, m=2
## t=600, m=4
## t=700, m=1
## t=800, m=1
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=6
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=1
## t=200, m=1
## t=300, m=1
## t=400, m=4
## t=500, m=3
## t=600, m=1
## t=700, m=2
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=1
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=5
## t=500, m=1
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=6
## t=700, m=3
## t=800, m=2
## t=900, m=6
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=6
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=5
## t=700, m=4
## t=800, m=5
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=1
## t=400, m=1
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=4
## t=100, m=2
## t=200, m=5
## t=300, m=2
## t=400, m=3
## t=500, m=5
## t=600, m=3
## t=700, m=1
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=5
## t=800, m=4
## t=900, m=4
## t=100, m=1
## t=200, m=4
## t=300, m=3
## t=400, m=4
## t=500, m=4
## t=600, m=1
## t=700, m=2
## t=800, m=5
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=6
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=5
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=4
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=1
## t=500, m=4
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=6
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=4
## t=100, m=3
## t=200, m=5
## t=300, m=3
## t=400, m=2
## t=500, m=6
## t=600, m=1
## t=700, m=5
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=4
## t=700, m=4
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=5
## t=400, m=3
## t=500, m=1
## t=600, m=4
## t=700, m=3
## t=800, m=5
## t=900, m=2
## t=100, m=3
## t=200, m=5
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=1
## t=800, m=3
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=4
## t=800, m=5
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=5
## t=400, m=5
## t=500, m=1
## t=600, m=3
## t=700, m=1
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=4
## t=700, m=6
## t=800, m=3
## t=900, m=1
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=1
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=4
## t=300, m=1
## t=400, m=4
## t=500, m=4
## t=600, m=3
## t=700, m=1
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=5
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=4
## t=600, m=1
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=1
## t=600, m=3
## t=700, m=4
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=4
## t=100, m=1
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=6
## t=800, m=3
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=1
## t=700, m=1
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=4
## t=300, m=3
## t=400, m=5
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=1
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=7
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=3
## t=900, m=1
## t=100, m=3
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=4
## t=600, m=5
## t=700, m=1
## t=800, m=4
## t=900, m=1
## t=100, m=1
## t=200, m=1
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=6
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=3
## t=300, m=5
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=1
## t=200, m=4
## t=300, m=3
## t=400, m=4
## t=500, m=1
## t=600, m=4
## t=700, m=1
## t=800, m=1
## t=900, m=8
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=5
## t=400, m=1
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=6
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=2
## t=200, m=1
## t=300, m=1
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=4
## t=900, m=5
## t=100, m=3
## t=200, m=3
## t=300, m=5
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=5
## t=100, m=4
## t=200, m=5
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=6
## t=800, m=3
## t=900, m=6
## t=100, m=3
## t=200, m=4
## t=300, m=4
## t=400, m=4
## t=500, m=6
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=5
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=5
## t=100, m=1
## t=200, m=6
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=5
## t=700, m=2
## t=800, m=7
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=4
## t=400, m=1
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=1
## t=900, m=2
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=6
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=3
## t=900, m=6
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=5
## t=300, m=5
## t=400, m=3
## t=500, m=5
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=2
## t=200, m=6
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=3
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=3
## t=700, m=4
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=5
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=1
## t=900, m=5
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=4
## t=800, m=3
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=5
## t=600, m=5
## t=700, m=4
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=7
## t=300, m=3
## t=400, m=4
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=4
## t=200, m=1
## t=300, m=3
## t=400, m=4
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=5
## t=600, m=3
## t=700, m=5
## t=800, m=4
## t=900, m=4
## t=100, m=2
## t=200, m=4
## t=300, m=1
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=1
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=1
## t=500, m=3
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=1
## t=600, m=4
## t=700, m=2
## t=800, m=2
## t=900, m=6
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=4
## t=700, m=1
## t=800, m=4
## t=900, m=1
## t=100, m=4
## t=200, m=6
## t=300, m=1
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=6
## t=800, m=2
## t=900, m=6
## t=100, m=2
## t=200, m=1
## t=300, m=1
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=4
## t=800, m=5
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=4
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=4
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=1
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=5
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=2
## t=400, m=4
## t=500, m=4
## t=600, m=1
## t=700, m=8
## t=800, m=4
## t=900, m=3
## t=100, m=4
## t=200, m=4
## t=300, m=4
## t=400, m=2
## t=500, m=5
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=1
## t=100, m=3
## t=200, m=1
## t=300, m=3
## t=400, m=1
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=4
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=4
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=5
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=3
## t=100, m=4
## t=200, m=8
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=4
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=5
## t=800, m=2
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=5
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=1
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=3
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=3
## t=800, m=1
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=6
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=1
## t=500, m=1
## t=600, m=6
## t=700, m=3
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=6
## t=700, m=4
## t=800, m=5
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=4
## t=700, m=4
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=5
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=5
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=1
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=5
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=5
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=1
## t=100, m=4
## t=200, m=3
## t=300, m=1
## t=400, m=4
## t=500, m=2
## t=600, m=1
## t=700, m=5
## t=800, m=1
## t=900, m=3
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=5
## t=200, m=5
## t=300, m=3
## t=400, m=5
## t=500, m=4
## t=600, m=1
## t=700, m=1
## t=800, m=3
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=3
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=3
## t=800, m=1
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=5
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=6
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=1
## t=500, m=7
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=1
## t=200, m=3
## t=300, m=6
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=5
## t=900, m=5
## t=100, m=6
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=1
## t=400, m=2
## t=500, m=3
## t=600, m=6
## t=700, m=4
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=4
## t=500, m=5
## t=600, m=2
## t=700, m=5
## t=800, m=3
## t=900, m=3
## t=100, m=6
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=4
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=6
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=1
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=6
## t=700, m=4
## t=800, m=3
## t=900, m=1
## t=100, m=3
## t=200, m=5
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=8
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=5
## t=900, m=3
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=1
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=1
## t=100, m=4
## t=200, m=1
## t=300, m=3
## t=400, m=1
## t=500, m=1
## t=600, m=4
## t=700, m=2
## t=800, m=4
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=5
## t=200, m=2
## t=300, m=4
## t=400, m=1
## t=500, m=4
## t=600, m=5
## t=700, m=3
## t=800, m=2
## t=900, m=5
## 
## Call:
## summary.resamples(object = results)
## 
## Models: blassoAveraged, earth, bagEarthGCV, M5, bagEarth, gcvEarth 
## Number of resamples: 225 
## 
## MAE 
##                    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## blassoAveraged 1.543220 3.305543 3.980181 4.023629 4.678391 7.115942    0
## earth          1.890079 3.322547 4.039186 4.061680 4.673850 6.896342    0
## bagEarthGCV    1.391320 3.195975 4.027565 4.047931 4.830482 6.540932    0
## M5             1.874613 3.237969 3.939336 3.995344 4.698438 6.681174    0
## bagEarth       1.182318 3.277861 3.957891 4.040272 4.746124 7.242439    0
## gcvEarth       1.242291 3.383735 3.932254 4.049542 4.689344 7.356712    0
## 
## RMSE 
##                    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## blassoAveraged 2.254213 4.246435 4.968822 5.013758 5.755514 7.979046    0
## earth          2.053789 4.294297 5.132011 5.038237 5.760698 7.781449    0
## bagEarthGCV    2.175347 4.216912 5.023006 5.023047 5.851757 7.461095    0
## M5             2.297115 4.159209 5.040975 4.960864 5.720744 7.943578    0
## bagEarth       1.435706 4.118747 4.935850 4.995470 5.826046 8.057014    0
## gcvEarth       1.551031 4.250912 5.018452 5.005748 5.724613 8.228603    0
## 
## Rsquared 
##                     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. NA's
## blassoAveraged 0.9464553 0.9868644 0.9921045 0.9903681 0.9948062 0.9993037    0
## earth          0.9519630 0.9875082 0.9909578 0.9898980 0.9944794 0.9990026    0
## bagEarthGCV    0.9653103 0.9863183 0.9914784 0.9898143 0.9953752 0.9987796    0
## M5             0.9578979 0.9876266 0.9919179 0.9898927 0.9946434 0.9990378    0
## bagEarth       0.9582143 0.9877002 0.9915548 0.9902801 0.9947690 0.9989234    0
## gcvEarth       0.9615080 0.9880888 0.9915700 0.9901493 0.9942381 0.9992522    0

Все модели кажутся равнозначными. Попробуем их оптимизировать и сравнить снова:

cvs.print2 = function(method.array, n = 10, reps = 10) {
    
    tr = trainControl(method = "repeatedcv", number = n, repeats = reps, verboseIter = F, 
        returnResamp = "final", savePredictions = T, summaryFunction = defaultSummary)
    aa = list()
    
    cvs = for (ft in method.array) {
        
        aa[[ft]] = train(y = data$RM, x = d3, method = ft, metric = "RMSE", maximize = FALSE, 
            trControl = tr, tuneLength = 20)
    }
    
    results = resamples(aa)
    
    # summarize the distributions
    summary(results) %>% print()
    # boxplots of results
    bwplot(results) %>% print()
    # dot plots of results
    dotplot(results) %>% print()
    
}

cvs.print2(c("blassoAveraged", "earth", "bagEarthGCV", "M5", "bagEarth", "gcvEarth"), 
    n = 15, reps = 10)
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=4
## t=800, m=4
## t=900, m=6
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=3
## t=900, m=1
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=4
## t=700, m=6
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=3
## t=900, m=1
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=3
## t=900, m=1
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=5
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=5
## t=300, m=2
## t=400, m=1
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=1
## t=200, m=2
## t=300, m=5
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=6
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=4
## t=500, m=4
## t=600, m=4
## t=700, m=4
## t=800, m=3
## t=900, m=1
## t=100, m=4
## t=200, m=5
## t=300, m=6
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=7
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=1
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=1
## t=500, m=1
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=6
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=2
## t=800, m=5
## t=900, m=4
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=5
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=5
## t=700, m=1
## t=800, m=3
## t=900, m=1
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=2
## t=600, m=1
## t=700, m=3
## t=800, m=1
## t=900, m=1
## t=100, m=2
## t=200, m=3
## t=300, m=1
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=4
## t=800, m=1
## t=900, m=1
## t=100, m=5
## t=200, m=3
## t=300, m=1
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=4
## t=500, m=1
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=1
## t=800, m=1
## t=900, m=5
## t=100, m=4
## t=200, m=1
## t=300, m=2
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=5
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=4
## t=800, m=3
## t=900, m=8
## t=100, m=5
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=5
## t=600, m=3
## t=700, m=3
## t=800, m=1
## t=900, m=4
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=5
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=6
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=5
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=6
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=5
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=5
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=1
## t=400, m=4
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=7
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=5
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=4
## t=100, m=3
## t=200, m=1
## t=300, m=1
## t=400, m=3
## t=500, m=1
## t=600, m=5
## t=700, m=4
## t=800, m=1
## t=900, m=4
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=5
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=4
## t=100, m=4
## t=200, m=5
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=6
## t=900, m=2
## t=100, m=2
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=5
## t=700, m=4
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=5
## t=300, m=4
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=6
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=4
## t=500, m=1
## t=600, m=5
## t=700, m=3
## t=800, m=1
## t=900, m=3
## t=100, m=4
## t=200, m=3
## t=300, m=1
## t=400, m=4
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=7
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=1
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=4
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=5
## t=900, m=5
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=5
## t=600, m=5
## t=700, m=2
## t=800, m=5
## t=900, m=5
## t=100, m=1
## t=200, m=2
## t=300, m=4
## t=400, m=4
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=4
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=5
## t=700, m=3
## t=800, m=5
## t=900, m=4
## t=100, m=1
## t=200, m=1
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=5
## t=700, m=3
## t=800, m=2
## t=900, m=6
## t=100, m=2
## t=200, m=5
## t=300, m=4
## t=400, m=3
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=5
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=4
## t=600, m=6
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=3
## t=300, m=1
## t=400, m=2
## t=500, m=2
## t=600, m=4
## t=700, m=1
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=1
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=3
## t=500, m=3
## t=600, m=3
## t=700, m=4
## t=800, m=1
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=1
## t=600, m=4
## t=700, m=4
## t=800, m=3
## t=900, m=5
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=5
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=1
## t=600, m=4
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=4
## t=200, m=4
## t=300, m=1
## t=400, m=1
## t=500, m=1
## t=600, m=1
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=3
## t=200, m=2
## t=300, m=6
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=5
## t=800, m=4
## t=900, m=6
## t=100, m=1
## t=200, m=2
## t=300, m=4
## t=400, m=6
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=4
## t=500, m=4
## t=600, m=3
## t=700, m=4
## t=800, m=4
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=4
## t=800, m=4
## t=900, m=4
## t=100, m=5
## t=200, m=1
## t=300, m=3
## t=400, m=4
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=4
## t=900, m=3
## t=100, m=1
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=5
## t=300, m=2
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=4
## t=800, m=1
## t=900, m=3
## t=100, m=1
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=4
## t=800, m=5
## t=900, m=4
## t=100, m=5
## t=200, m=5
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=5
## t=800, m=2
## t=900, m=2
## t=100, m=1
## t=200, m=4
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=1
## t=700, m=5
## t=800, m=1
## t=900, m=6
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=4
## t=700, m=5
## t=800, m=1
## t=900, m=2
## t=100, m=7
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=1
## t=500, m=3
## t=600, m=3
## t=700, m=5
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=5
## t=500, m=3
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=5
## t=600, m=4
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=5
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=6
## t=900, m=4
## t=100, m=6
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=3
## t=800, m=4
## t=900, m=4
## t=100, m=4
## t=200, m=4
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=3
## t=700, m=3
## t=800, m=4
## t=900, m=1
## t=100, m=4
## t=200, m=1
## t=300, m=4
## t=400, m=2
## t=500, m=2
## t=600, m=6
## t=700, m=5
## t=800, m=5
## t=900, m=2
## t=100, m=3
## t=200, m=1
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=5
## t=800, m=3
## t=900, m=1
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=1
## t=800, m=6
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=5
## t=400, m=5
## t=500, m=4
## t=600, m=3
## t=700, m=4
## t=800, m=5
## t=900, m=6
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=1
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=7
## t=600, m=1
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=5
## t=200, m=4
## t=300, m=3
## t=400, m=1
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=3
## t=100, m=1
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=5
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=5
## t=400, m=1
## t=500, m=4
## t=600, m=3
## t=700, m=1
## t=800, m=4
## t=900, m=1
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=8
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=1
## t=600, m=3
## t=700, m=1
## t=800, m=6
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=3
## t=800, m=8
## t=900, m=3
## t=100, m=5
## t=200, m=5
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=1
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=2
## t=200, m=3
## t=300, m=2
## t=400, m=3
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=4
## t=500, m=8
## t=600, m=2
## t=700, m=2
## t=800, m=4
## t=900, m=1
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=3
## t=900, m=4
## t=100, m=2
## t=200, m=1
## t=300, m=5
## t=400, m=4
## t=500, m=4
## t=600, m=4
## t=700, m=3
## t=800, m=5
## t=900, m=5
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=4
## t=500, m=5
## t=600, m=3
## t=700, m=1
## t=800, m=1
## t=900, m=4
## t=100, m=2
## t=200, m=2
## t=300, m=6
## t=400, m=3
## t=500, m=5
## t=600, m=2
## t=700, m=3
## t=800, m=1
## t=900, m=1
## t=100, m=3
## t=200, m=4
## t=300, m=2
## t=400, m=3
## t=500, m=6
## t=600, m=2
## t=700, m=3
## t=800, m=2
## t=900, m=5
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=4
## t=600, m=2
## t=700, m=2
## t=800, m=1
## t=900, m=5
## t=100, m=2
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=2
## t=600, m=5
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=2
## t=400, m=5
## t=500, m=1
## t=600, m=5
## t=700, m=4
## t=800, m=2
## t=900, m=5
## t=100, m=1
## t=200, m=2
## t=300, m=5
## t=400, m=5
## t=500, m=2
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=6
## t=100, m=3
## t=200, m=2
## t=300, m=3
## t=400, m=1
## t=500, m=4
## t=600, m=5
## t=700, m=1
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=2
## t=100, m=4
## t=200, m=4
## t=300, m=2
## t=400, m=1
## t=500, m=1
## t=600, m=1
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=1
## t=500, m=2
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=2
## t=100, m=5
## t=200, m=3
## t=300, m=1
## t=400, m=3
## t=500, m=1
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=6
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=6
## t=500, m=2
## t=600, m=6
## t=700, m=1
## t=800, m=3
## t=900, m=3
## t=100, m=5
## t=200, m=1
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=1
## t=700, m=3
## t=800, m=4
## t=900, m=4
## t=100, m=1
## t=200, m=3
## t=300, m=2
## t=400, m=5
## t=500, m=5
## t=600, m=3
## t=700, m=5
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=1
## t=400, m=5
## t=500, m=1
## t=600, m=4
## t=700, m=4
## t=800, m=1
## t=900, m=5
## t=100, m=2
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=5
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=1
## t=400, m=3
## t=500, m=7
## t=600, m=5
## t=700, m=3
## t=800, m=2
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=4
## t=400, m=3
## t=500, m=3
## t=600, m=1
## t=700, m=1
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=4
## t=500, m=2
## t=600, m=3
## t=700, m=1
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=3
## t=400, m=4
## t=500, m=3
## t=600, m=1
## t=700, m=3
## t=800, m=1
## t=900, m=2
## t=100, m=2
## t=200, m=4
## t=300, m=3
## t=400, m=2
## t=500, m=1
## t=600, m=2
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=3
## t=200, m=3
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=4
## t=700, m=2
## t=800, m=3
## t=900, m=5
## t=100, m=4
## t=200, m=2
## t=300, m=1
## t=400, m=2
## t=500, m=4
## t=600, m=4
## t=700, m=6
## t=800, m=6
## t=900, m=1
## t=100, m=1
## t=200, m=2
## t=300, m=4
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=2
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=4
## t=900, m=3
## t=100, m=1
## t=200, m=2
## t=300, m=2
## t=400, m=3
## t=500, m=2
## t=600, m=3
## t=700, m=2
## t=800, m=4
## t=900, m=2
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=3
## t=500, m=7
## t=600, m=3
## t=700, m=3
## t=800, m=3
## t=900, m=2
## t=100, m=1
## t=200, m=1
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=2
## t=800, m=5
## t=900, m=2
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=6
## t=500, m=2
## t=600, m=4
## t=700, m=2
## t=800, m=2
## t=900, m=1
## t=100, m=3
## t=200, m=1
## t=300, m=2
## t=400, m=4
## t=500, m=4
## t=600, m=6
## t=700, m=3
## t=800, m=3
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=2
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=2
## t=800, m=1
## t=900, m=4
## t=100, m=3
## t=200, m=2
## t=300, m=4
## t=400, m=5
## t=500, m=3
## t=600, m=3
## t=700, m=8
## t=800, m=2
## t=900, m=2
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=2
## t=500, m=4
## t=600, m=1
## t=700, m=3
## t=800, m=1
## t=900, m=4
## t=100, m=3
## t=200, m=3
## t=300, m=4
## t=400, m=4
## t=500, m=3
## t=600, m=2
## t=700, m=4
## t=800, m=2
## t=900, m=4
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=3
## t=500, m=4
## t=600, m=3
## t=700, m=5
## t=800, m=2
## t=900, m=1
## t=100, m=2
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=4
## t=700, m=3
## t=800, m=2
## t=900, m=3
## t=100, m=3
## t=200, m=4
## t=300, m=3
## t=400, m=3
## t=500, m=3
## t=600, m=4
## t=700, m=3
## t=800, m=4
## t=900, m=3
## t=100, m=2
## t=200, m=2
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=3
## t=100, m=2
## t=200, m=3
## t=300, m=3
## t=400, m=4
## t=500, m=4
## t=600, m=3
## t=700, m=2
## t=800, m=2
## t=900, m=4
## t=100, m=1
## t=200, m=3
## t=300, m=3
## t=400, m=2
## t=500, m=3
## t=600, m=3
## t=700, m=2
## t=800, m=1
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=1
## t=400, m=2
## t=500, m=3
## t=600, m=2
## t=700, m=5
## t=800, m=1
## t=900, m=2
## t=100, m=4
## t=200, m=3
## t=300, m=4
## t=400, m=3
## t=500, m=2
## t=600, m=2
## t=700, m=1
## t=800, m=2
## t=900, m=2
## t=100, m=4
## t=200, m=2
## t=300, m=1
## t=400, m=7
## t=500, m=3
## t=600, m=4
## t=700, m=3
## t=800, m=3
## t=900, m=6
## t=100, m=4
## t=200, m=3
## t=300, m=3
## t=400, m=5
## t=500, m=5
## t=600, m=3
## t=700, m=2
## t=800, m=3
## t=900, m=4
## t=100, m=3
## t=200, m=4
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=4
## t=700, m=2
## t=800, m=3
## t=900, m=4
## t=100, m=4
## t=200, m=2
## t=300, m=2
## t=400, m=4
## t=500, m=3
## t=600, m=3
## t=700, m=1
## t=800, m=2
## t=900, m=5
## t=100, m=1
## t=200, m=2
## t=300, m=3
## t=400, m=3
## t=500, m=1
## t=600, m=5
## t=700, m=4
## t=800, m=2
## t=900, m=3
## 
## Call:
## summary.resamples(object = results)
## 
## Models: blassoAveraged, earth, bagEarthGCV, M5, bagEarth, gcvEarth 
## Number of resamples: 150 
## 
## MAE 
##                     Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## blassoAveraged 1.7180932 3.391160 3.839076 4.006971 4.580760 6.919210    0
## earth          2.0334308 3.315970 4.019543 4.067460 4.707297 7.154689    0
## bagEarthGCV    0.9829126 3.264034 4.024825 4.064078 4.882657 6.854503    0
## M5             1.6017121 3.242514 4.000333 4.017796 4.743392 7.413455    0
## bagEarth       1.8772338 3.282527 3.931561 4.019478 4.768505 6.758234    0
## gcvEarth       1.7510933 3.381678 4.009585 4.067811 4.648557 6.976889    0
## 
## RMSE 
##                    Min.  1st Qu.   Median     Mean  3rd Qu.     Max. NA's
## blassoAveraged 2.373040 4.301046 4.942733 5.005457 5.784106 7.704682    0
## earth          2.434562 4.140435 5.081825 5.023681 5.749043 7.727465    0
## bagEarthGCV    1.088023 4.204461 5.084628 5.030410 5.910662 8.205081    0
## M5             2.121914 4.063361 4.931544 4.969498 5.735243 7.746577    0
## bagEarth       2.255303 4.273659 4.953752 4.988598 5.787266 7.624249    0
## gcvEarth       1.899838 4.206723 5.034085 5.025548 5.783456 7.991453    0
## 
## Rsquared 
##                     Min.   1st Qu.    Median      Mean   3rd Qu.      Max. NA's
## blassoAveraged 0.9622461 0.9880110 0.9917560 0.9897884 0.9948862 0.9996467    0
## earth          0.9709284 0.9871083 0.9919084 0.9907298 0.9947699 0.9986929    0
## bagEarthGCV    0.9677173 0.9868108 0.9922852 0.9902914 0.9949573 0.9997435    0
## M5             0.9626847 0.9871837 0.9917003 0.9896418 0.9949624 0.9989011    0
## bagEarth       0.9634585 0.9872175 0.9919162 0.9901703 0.9952954 0.9991798    0
## gcvEarth       0.9727347 0.9873992 0.9910425 0.9901562 0.9945105 0.9987865    0

Выводы

В результате проведённого исследования была найдена модель, не зависящая от типа телосложения, опыта тренировок и многих других характеристик, но при этом дающая хорошие результаты на 85% данных.

Я уверен, что большие погрешности в единичных случаях – это та часть закомерности, зависящая от человека и многих неучтённых характеристик. Тем не менее, влияние этих неучтённых факторов далеко не так велико, как предполагали многие: намного больше повторный максимум зависит от обычной математики.

Было продемонстрировано, что для числа повторений выше 10 нельзя построить достаточно точную модель (по крайней мере, при текущем наборе данных), но для диапазона 2-10 – ещё как можно.

Диапазон выше 10 повторений был отсеян по следующим причинам:

  1. физилогически менее сильная связь между 1ПМ и большим числом повторений;

  2. меньшая детерминированность между 1ПМ и большим числом повторений, обнаруженная при разведочном анализе данных, отчего трудно выявить достоверность данных и построить достаточно точную модель;

  3. маленький объём данных, разбросанных очень неравномерно на большом диапазоне (от 11 до 35).

Посчитать собственные результаты при помощи найденной модели можно здесь.


Возможности для применения

Оценка наличия прогресса в тренировках

Теперь практически в любой момент тренировочного процесса7 спортсмен может оценить свой ПМ, не делая проходку. Отслеживание ПМ помогает оценить близость к намеченной цели и вообще наличие прогресса: иногда обстоятельства мешают уложиться в цикл (особенно если это третий цикл подряд) и вместо семи повторений может сделать только 5 — считаются ли эти пять повторений прогрессом? Так или иначе, можно сделать перерыв и начать новый цикл, основываясь уже на новых данных8.

Выражение многоповторного максимума через многоповторный

Здесь всё интуитивно понятно. Для человека, например, моей комплекции (рост 170, вес 70) для приседа можно составить такую таблицу:

В этой таблице каждая строка обозначает одно и то же усилие, выраженное разным числом повторений. Если для человека верна какая-то ячейка (вес на число повторений), должна быть верна и вся строка.

Также тут можно проследить такую возможность: если в режиме на, например, 5 повторений вы взяли 80кг (80х5 эквивалентно 95.9485356), но смогли сделать с этим весом 8 повторений (что эквивалетно 101.8705815), то какой вес нужно взять, чтобы делать прежние 5 повторений? Из формулы следует, что 84.9497114.

Постановка эквивалентной цели

Если вы ходите поднять свой \(RM\) на 15 кг, не обязательно ставить цель “в конце цикла поднять \(RM+15\) кг на раз”. Зная \(RM+15\), можно рассчитать свой целевой 2ПМ, 3ПМ или 4ПМ и стремиться к концу цикла достичь именно тех величин.


Возможности для примерения в анализе силовых циклов

Известно, что невозможно постоянно увеличивать вес отягощений, так как рано или поздно спортсмен упрётся в тренировочное плато и может дойти до перетренированности, истощиться, заболеть, в результате чего произойдёт снижение силовых показателей. Основной способ обойти эту проблему и многие годы увеличивать силовые показатели — это циклирование (периодизация нагрузок). При этом даже сейчас циклы строятся больше на основе опыта (методом проб и ошибок) и интуиции, чем с использованием каких-то научных знаний. И хоть за последние полвека уже тысячи спортсменов доказали пользу нескольких моделей циклирования и разнообразия нагрузок, текущая ситуация далека от идеальной. Я считаю, что построенная ранее модель (или аналогичная ей) может сделать в этом направлении шаг вперёд.

Если раньше многие циклы записывались от силы таблицами в Excel и не всегда были понятны, то использование модели, отождествляющей повторный максимум с многоповторным, позволяет визуализировать зависимость “максимального усилия” от дня тренировки, то есть отождествить цикл с временным рядом. Дальнейшие исследования таких временных рядов позволит разработать циклы, близкие к идеальным, или хотя бы обнаружить ту составляющую в циклах, за счёт которых они работают, и отсеить те программы тренировок, которые не будут работать.

Таким образом, в будущем тренировочный процесс можно будет представить как последовательность нагрузок в разных режимах (в основном для тренировки разных мышечных волокон), которые требуют усилий, подчиняющихся определённым математически выраженным закономерностям.

Далее приводятся примеры визуализации нескольких циклов.

Простейший цикл

Возьмём очень простой цикл из тех, которые можно иногда применять в межсезонье. Он состоит их 7 тренировок, на который самый тяжёлый подход состаляет (при конкретных цифрах) 100x10, 120x4, 115x6, 105x10, 130x3, 120x6, 125x5 соответственно.

Если прогнать такой цикл через модель (в случае с приседом), получим такую динамику:

Аналогично для ещё нескольких циклов.

Пиковый цикл Верхошанского

Ссылка на цикл

Цикл тома МакКаллоу

Ссылка на цикл

Полезные ссылки

Сайт, где можно опробовать модель на себе

Русскоязычный опрос, англоязычный опрос. Если данных станет значительно больше, исследование повторится.

Мой гитхаб

Раздел этой статьи на гитхабе, исходные датасеты, коды

Книги и материалы по пауэрлифтингу

Моя электронная почта:


  1. если будет доказано наличие гиперплазии (деления мышечных волокон) в скелетных мышцах человека, можно будет утверждать, что силовые тренировки увеличивают количество белых волокон в работающих мышцах

  2. конечно, это лишь условные размышления без учёта особенностей отдельных частей тела и того, что ввиду усталости каждое следующее повторение делается дольше предыдущего. Важно лишь усвоить, что разные диапазоны повторений по-разному связаны с силой.

  3. дело в том, что одни и те же люди могли вносить более одного ответа. В итоге два наблюдения считаются принадлежащими одному человеку, если они совпадают по переменным AgeGroup, Height, BodyType, Experience, Sex, IndexGroup (которые вряд ли изменятся за время между фиксацией разных наблюдений)

  4. например, высокий импульс ЦНС, не соответствующий уровню креатинфосфата. В таком случае человек может на раз пожать большой вес, но на несколько раз уже недостаточно большой: при ПМ в 140 на 3 раза жмётся не почти 130, а 120

  5. такую нижнюю границу можно предсказать, просто умножив вес примерно на 1.5, исследование же рассчитано на поиск верхней границы

  6. по крайней мере, наблюдения от женщин, прошедших опрос, не становились выбросами для этих моделей, а хорошо вписывались во многие наблюдения, принадлежавшие мужчинам

  7. разумеется, после тех тренировок, где происходит максимальное усилие: часто силовые циклы делят тренировки на тяжёлые и лёгкие, силовые и скоростные и т. п., но максимальное усилие, позволяющее оценить ПМ, совершается именно на тяжёлых силовых тренировках (и то – не всегда)

  8. но также можно несколько тренировок уделить подсобным или родственным упражнениям, а потом вернуться к прежнему циклу